BERT

BERT („Bidirectional Encoder Representations from Transformers“) ist ein von Google entwickeltes Open-Source-Modell, welches im Oktober 2018 veröffentlicht wurde. Bereits ein Jahr später wurde es in die Google-Suche integriert, um den Kontext von Wörtern anhand des gesamten Satzes besser zu erfassen.^[1] Es verarbeitet Sätze bidirektional, also gleichzeitig in beide Richtungen, und erfasst dadurch den Zusammenhang zwischen den einzelnen Wörtern im gesamten Satz^[2]. Diese Fähigkeit markierte einen wichtigen Schritt vom reinen Abgleich von Suchbegriffen hin zum Verständnis ihrer Bedeutung und bildet eine wichtige Grundlage für generative Antworten.

BERT steht für „Bidirectional Encoder Representations from Transformers“. Google veröffentlichte das Modell im Oktober 2018 als Open-Source-Forschungsprojekt und integrierte es im Oktober 2019 in die Google-Suche.^[1] BERT ist ein Encoder auf Basis des Transformer-Modells. Für jedes Wort erzeugt das Modell eine kontextabhängige Repräsentation, die seine Bedeutung im jeweiligen Satz erfasst.^[2]

Frühere Sprachmodelle verarbeiteten Texte Schritt für Schritt von links nach rechts. Dadurch fehlte ihnen bei der Interpretation eines Wortes zunächst der Kontext der folgenden Wörter. BERT berücksichtigt dagegen den gesamten Satz und kann so die Bedeutung eines Wortes anhand seines vollständigen Kontexts erfassen.

Die Grundlage dafür ist Self-Attention. Dabei setzt das Modell jedes Wort mit den anderen Wörtern im Satz in Beziehung und bestimmt so, welche Zusammenhänge für die Bedeutung wichtig sind.^[2] Für jedes Wortpaar berechnet das Modell ein Gewicht, das angibt, wie stark die beiden Wörter inhaltlich miteinander zusammenhängen. Mehrdeutigkeiten werden so anhand des jeweiligen Kontexts aufgelöst.

Ein klassisches Beispiel ist das Wort „Bank“. In „Ich gehe zur Bank, um Geld abzuheben“ steht es für ein Geldinstitut, während „Ich sitze auf der Bank im Park“ eine Sitzgelegenheit bezeichnet. BERT erkennt den Unterschied anhand der umgebenden Wörter, die es gleichzeitig berücksichtigt.^[3]

15 Prozent der Wörter eines Satzes werden durch einen [MASK]-Token ersetzt. BERT sagt anschließend die fehlenden Wörter anhand des verbleibenden Kontexts voraus.^[2]. So berücksichtigt das Modell den Kontext aus beiden Richtungen.

Das Modell erhält zwei Sätze und soll entscheiden, ob der zweite auf den ersten folgt.^[2] Dadurch lernt es, Zusammenhänge zwischen Sätzen zu erkennen, nicht nur zwischen einzelnen Wörtern.

Google integrierte BERT am 25. Oktober 2019 in die Google-Suche. Zum Start beeinflusste die Technologie etwa 10 Prozent der englischsprachigen Suchanfragen.^[1] Im Dezember 2019 weitete Google BERT auf Featured Snippets aus. Bis 2020 wurde die Technologie auf mehr als 70 Sprachen ausgeweitet, darunter auch Deutsch.^[3]

Wichtig: BERT fungiert keineswegs als Abstrafung. Websites büßten durch seine Einführung keine Reichweite ein, weil sie qualitativ ungenügend waren, sondern schlichtweg, weil Google bei bestimmten Suchanfragen nun kontextuell präzisere Ergebnisse bevorzugte.^[3] Websites, die zwar passende Begriffe aufwiesen, aber die eigentliche Intention der Nutzer unbeantwortet ließen, verloren an Sichtbarkeit. Im Gegenzug profitierten Angebote, die das Informationsbedürfnis präziser trafen, von verbesserten Rankings.

Ein prominentes Beispiel, das Google zur Einführung von BERT anführte, ist die Anfrage „Brazil traveller to USA needs a visa“. Vor BERT lieferte die Suche primär Ergebnisse für US-Bürger, die eine Reise nach Brasilien planen, da das entscheidende Wörtchen „to“ unterging. Erst mit BERT verstand der Algorithmus den inneren Zusammenhang und erkannte, dass es um einen brasilianischen Staatsbürger geht, der in die USA reisen möchte und dafür ein Visum benötigt.^[1]

Vor allem Sprachbefehle und Suchen in natürlicher Sprache profitierten davon. Beide enthalten häufig Präpositionen wie „zu“, „von“, „für“ oder „ohne“, die für den Sinn einer Anfrage entscheidend sind, von früheren Algorithmen jedoch oft übergangen wurden.^[3] BERT erkennt, dass solche Wörter den Sinn einer Suchanfrage verändern können.

BERT agiert in KI-Antworten zwar im Hintergrund, hat jedoch den entscheidenden Weg für ein kontextbezogenes Sprachverständnis geebnet. Ohne die Fähigkeit, jedes Wort in seinem gesamten sprachlichen Umfeld zu gewichten, wäre es modernen Systemen kaum möglich, die tatsächliche Absicht einer Anfrage zu erfassen.^[3] Die heutige KI-Suche baut direkt auf jenem kontextbezogenen Sprachverständnis auf, welches BERT im Jahr 2019 in die Google-Suche integrierte.

Im Kontext der generativen Suche bedeutet das: Natürliche, kontextreiche Inhalte lassen sich von Systemen mit einem BERT-ähnlichen Sprachverständnis wesentlich präziser einordnen. Das Aneinanderreihen von Keywords läuft dagegen ins Leere.^[3] Wer präzise formuliert und konkrete Fragen direkt beantwortet, erhöht die Chance, dass generative Modelle die Inhalte auffinden, verstehen und als Quelle zitieren.

Auch 2026 bleibt BERT ein wichtiger Bestandteil der Google-Suche und arbeitet Hand in Hand mit neueren Systemen wie MUM oder Gemini.^[5] Während BERT vor allem für die präzise Interpretation von Suchanfragen zuständig ist, übernehmen Modelle wie Gemini die Aufgabe, Inhalte zusammenzuführen und neu zu generieren.

Für erfolgreiches GEO müssen Inhalte so aufbereitet sein, dass Systeme mit einem BERT-ähnlichen Sprachverständnis sie präzise erfassen können. Klare Antworten, strukturierte Daten und natürliche Sprache helfen dabei, Informationen in ihrem jeweiligen Kontext richtig einzuordnen. Anders als beim klassischen SEO kommt es deshalb nicht mehr nur auf einzelne Keywords an, sondern darauf, ob die vermittelten Inhalte in sich schlüssig sind.^[3]