Verstehen wir dasselbe?

Einleitung

Die Frage nach Bedeutung und ihrem Zusammenhang mit Sprache begleitet den Menschen schon deutlich länger, als es große Sprachmodelle tun.

Eines der einflussreichsten Modelle in dieser Hinsicht stammt von dem Schweizer Linguisten Ferdinand de Saussure (1857-1913). Er legte mit seinen Arbeiten den Grundstein für die moderne Sprachtheorie und den Strukturalismus. Anstatt sich, wie damals üblich, auf die diachrone (sich auf die  historische Entwicklung beziehend) Untersuchung von Sprache zu fokussieren, betrachtete er Sprache als ein in sich geschlossenes System. In einer Metapher zu seinem Forschungsansatz beschreibt er es als die Position eines Schachspiels: Er betrachtet die Position selbst, nicht die Züge, die zu dem Zustand auf dem Feld geführt haben. Mit diesem Sinnbild lässt sich auch die Trennung von Langue und Parole gut aufzeigen.

Die Langue ist das Regelwerk, die Grammatik, der Wortschatz und die Syntax, also die Teile der Sprache, die allen Sprechern bekannt sind und die Grundlage der Kommunikation bilden.

Ein einzelner Zug auf dem Schachbrett würde der Parole entsprechen, also der individuellen und vergänglichen Verwendung von Sprache beim Schreiben oder Sprechen. Damit lässt sich, nach de Saussure, Sprache in ein übergeordnetes System (Langue) und die konkrete Anwendung (Parole) teilen.

Das Sprachzeichen

Eins der wichtigsten Konzepte zum Verständnis von Sprache ist die Trennung des Sprachzeichens in den Signifikanten und das Signifikat. Dabei handelt es sich um die untrennbaren psychischen Komponenten. Der von de Saussure angeführte Vergleich mit einem Blatt Papier zeigt, dass dessen zwei Seiten nicht voneinander getrennt werden können, ohne zerstört zu werden, so wie die Reaktion nicht ohne die Aktion erfolgen kann.

Der Signifikant bezeichnet das innere Lautbild eines Wortes, während das Signifikat die damit verbundene Vorstellung meint. Anschaulich lässt sich dies am spanischen Wort „árbol“ (= Baum) zeigen: Hört man es zum ersten Mal, wirken die Laute zunächst wie bloße Geräusche. Durch Wiederholung entsteht jedoch eine psychologische Spur im Gedächtnis – ein Lautbild, das unabhängig vom aktuellen Sprechakt abrufbar bleibt. Dieses Lautbild ist der Signifikant. Mit der Zeit wird es mit der allgemeinen Vorstellung „Baum“ verknüpft, die nicht für einen konkreten Baum steht, sondern für das abstrakte Konzept. Dieses Konzept stellt das Signifikat dar.

Analog zum Signifikanten verwenden große Sprachmodelle sogenannte Tokens, also Einheiten, in die ein Eingabewert zerlegt wird. Diese Einheiten sind nicht zwangsläufig Wörter, sondern können auch Wortteile wie Vorsilben oder Endungen, Satzzeichen oder Zahlen sein. Diese Einheiten werden in eine eindeutige statische numerische ID umgewandelt. Ähnlich wie die Verbindung zwischen Wort und Bedeutung arbiträr ist, sind auch die Zahlenwerte für die Token nicht direkt mit der semantischen Bedeutung verbunden. Diese IDs allein sind nicht ausreichend für die Funktion des Sprachmodells. Dafür sind die sogenannten Embeddings notwendig, die das Analogon zum Signifikat bilden.

Bei den Embeddings handelt es sich nicht mehr um bloße numerische Identifier, sondern um Vektoren in einem hochdimensionalen Raum. Diese Vektoren werden im ersten Schritt des Trainings zufällig initialisiert, beim Trainieren werden dann Begriffe, die im selben Kontext auftauchen, näher aneinander gerückt. Daher sind in einem trainierten Netz semantisch nahe Begriffe als örtlich nahe Vektoren dargestellt.

Bedeutung durch Relation

Dieses Netz aus Vektoren schlägt eine klare Verbindung zurück zu de Saussure. Um die Bedeutung eines Wortes zu erfassen, ist die Signification – die Verbindung von Signifikant und Signifikat – nicht ausreichend. Begriffe müssen in Relation zueinander stehen, damit sie Bedeutung haben. Demnach ergibt sich der Wert (valeur) eines Sprachzeichens aus seiner Position im gesamten System.

Dieser Wert kann auf zwei Weisen beschrieben werden:

1.  Konzeptionell: Der Wert eines Zeichens wird durch seine Opposition zu allen anderen Zeichen im System bestimmt. Die Bedeutung von „rot“ kommt nicht nur durch die Vorstellung der Farbe Rot zustande, sondern auch durch den Unterschied zu der Summe dessen, was es nicht ist: rot ist nicht blau, nicht grün, nicht gelb... Durch diese Differenz bekommt „rot“ seinen einzigartigen Wert im System.

2.  Materiell: Dieser Wert ist auch durch das Lautbild, den materiellen Teil des Sprachzeichens, bestimmt. Das Lautbild: „H-u-n-d“ hat nur deshalb einen Wert, weil es sich von dem Lautbild „K-a-t-z-e“ unterscheidet. Jeder einzelne Laut ist bedeutungslos. Erst die Verkettung von ihnen in eine einzigartige Kette, die sich von den anderen Lautbildern im System unterscheidet, erlaubt es, dass das Lautbild einen konzeptionellen Wert trägt.

Der Wert eines Sprachzeichens ist also immer relational, er ergibt sich aus seiner Position in einem System aus Differenzen.

Verstehen wir also dasselbe?

Zusammengefasst lässt sich sagen, dass ein Sprachmodell ein Sprachzeichen auf eine dem Menschen sehr ähnliche Weise verarbeitet. De Saussures Konzept von Bedeutung aus Differenz ist in der Funktionsweise von Sprachmodellen mehr als evident.

Auch die Verknüpfung von Signifikat zu Signifikant findet sich in Sprachmodellen wieder: Ein bestimmter Token löst ein bestimmtes Aktivierungsmuster im neuronalen Netz des Sprachmodells aus, so wie ein bestimmtes Lautbild eine bestimmte psychologische Reaktion beim Menschen auslöst.

Allerdings darf ein wichtiges Detail hier nicht außer Acht gelassen werden. Während ein Sprachmodell riesige Mengen tatsächlicher Sprache (Parole) verwendet und aus den statistischen Zusammenhängen lernt, ist die Sprache für den Menschen nicht nur von der Relation von Sprachzeichen zu Sprachzeichen geprägt. Jedes Sprachzeichen ist mit einem erfahrbaren Konzept verbunden.

Für Menschen ist der Begriff „Baum“ also nicht nur von der Verbindung der Begriffe „Baum“, „Ast“, „Blatt“, „klettern“ usw. abhängig, sondern etwas, das man erleben kann.

Abschließend verstehen wir den Begriff also durch ähnliche Mechanismen, aber nicht auf die gleiche Weise.