LLM-Absolventen sind voreingenommen gegenüber der japanischen Kultur – hier ist eine Zusammenfassung der Studie

Moderne KI-Modelle weisen einen kulturellen Typ auf, und laut einer neuen Studie ist dieser Typ Japan. Stellt man einem großen Sprachmodell eine offene Frage zur Kultur, ohne ein Land zu nennen, greift es tendenziell eher auf japanische Beispiele zurück als auf andere – ein Phänomen, das sich bei acht großen Modellen und 24 Sprachen zeigt.

Die Erkenntnis stammt aus einer im April veröffentlichten Studie von Forschern der Universität des Baskenlandes und der Cardiff University. Sie entwickelten einen mehrsprachigen Testdatensatz mit 31.680 offenen, aber kulturell fundierten Fragen, die 66 kulturelle Unterthemen aus elf übergeordneten Bereichen abdecken. Die Fragen bezogen sich beispielsweise darauf, welche Legenden das Land erklären, welche Rolle Nachbarn spielen, welche Schulfächer die größte Bedeutung haben und was die Menschen im Alltag essen. In keiner der Fragen wurde ein Land genannt. Nach jeder Frage musste das Modell eine Region auswählen und mit konkreten Beispielen antworten.

Die Modelle wiesen nicht nur eine geringfügige Tendenz zu Japan auf. Die Studie beschreibt eine „unverhältnismäßige Bedeutung Japans“ in den Antworten, die so konsistent ist, dass sie sich über alle 24 Sprachen hinweg auswirkt und nicht nur in den Ergebnissen einer einzelnen Region auftritt.

Das Design sollte offenlegen, was die Modelle standardmäßig glauben.

„Dadurch wird sichergestellt, dass alle regionalen oder kulturellen Annahmen aus den internen Vorannahmen des Modells und nicht aus dem vorgegebenen Design resultieren.“

— Die Forscher

Die Sprache beeinflusste auch, wie präzise die Modelle wurden. Laut der Studie lieferten die Modelle in Englisch und anderen ressourcenreichen Sprachen vielfältigere Ergebnisse und orientierten sich weniger stark am Herkunftsland der jeweiligen Sprache. In ressourcenärmeren Sprachen war die Modellgrundlage schwächer, und die Modelle griffen stärker auf Standardmodelle zurück.

Das erste Muster ist offensichtlich. Fragt man auf Französisch, erhält man Frankreich; fragt man auf Japanisch, erhält man Japan. Die Modelle orientieren sich an dem Land, das der Sprache der Frage entspricht. Interessant wird es jedoch, wenn ein Modell über dieses Heimatland hinausblickt. Sobald es eine externe Referenz heranzieht, wählt es Japan. Sechs der acht Modelle bevorzugten Japan in diesen externen Antworten. Die Vereinigten Staaten folgten an zweiter Stelle, dann Indien, China und Frankreich. Über alle 24 Sprachen hinweg gewann Japan in sieben von elf Kulturthemen, sobald das jeweilige Heimatland der Sprache außer Acht gelassen wurde.

Die getesteten Modelle waren ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen und DeepSeek; es handelt sich also nicht um eine Besonderheit eines einzelnen Labors. Die Forscher beschreiben es als Konzentrationsproblem, bei dem sich die Ergebnisse auf wenige dominante Regionen konzentrieren. Diese Diskrepanz macht das Ergebnis zu mehr als nur einer Fußnote: Selbst Modelle aus chinesischen und europäischen Laboren, die in ihren jeweiligen Sprachen antworteten, kehrten immer wieder zu derselben kurzen Liste zurück.

Die Anziehungskraft Japans lässt sich leicht erklären. Anime, Manga, Spieleserien und japanisches Essen gehören seit Jahren zu den meistexportierten und meistdiskutierten Kulturgütern im Internet, und die Modelle haben daraus reichlich gelernt. Die im Internet weit verbreitete Neigung, japanische Medien zu romantisieren, verschwand nicht mit dem Sammeln der Trainingsdaten; sie wurde kodiert. Die Daten liefern einen Zahlenwert: Es handelt sich nicht um ein Gefühl, sondern um eine messbare Tendenz, die auch nach der Übersetzung in über zwei Dutzend Sprachen erhalten bleibt.

Ich betreibe einen Account zum Thema KI, und „Die Modelle sind Anime-Fans“ ist die witzigste Forschungszusammenfassung, die ich dieses Jahr gelesen habe. Der Witz liegt auf der Hand: Das Internet war jahrzehntelang von Anime und japanischem Essen besessen, die Maschinen haben von diesem Internet gelernt und haben nun auch ein Lieblingsland. Die eigentliche Erkenntnis hinter der Pointe ist subtiler und umso nützlicher.

Die Studie beschränkte sich nicht darauf, die Verzerrung zu benennen. Sie untersuchte auch, wann diese Verzerrung auftritt. Das Team verglich die Modellausgaben vor und nach der Optimierung der Instruktionen – der Trainingsphase, in der ein Basismodell lernt, sinnvolle Antworten zu geben, anstatt nur grammatikalisch korrekten Text zu produzieren. Für diesen Vergleich verwendeten sie die englischen Antworten von Meta Llama, Qwen, Gemma und Mistral und überprüften jede einzelne vor und nach der Optimierung. Vor der Optimierung wiesen die Basismodelle ein breiteres Spektrum an Antworten auf. Die Vereinigten Staaten tauchten zwar immer noch häufig auf, aber auch Japan, Indien, China und mehrere europäische Länder, die über ein größeres Gebiet verteilt waren.

Nach der Feinabstimmung verkleinerte sich die Karte.

„Bei allen untersuchten Modellfamilien führt die Anpassung des Unterrichts zu einer deutlichen Angleichung an die USA und Japan, während gleichzeitig die Bezüge zu den meisten anderen Ländern reduziert werden.“

— Die Forscher

Der Effekt war am stärksten bei Modellen, die einem überwachten Feinabstimmungsprozess unterzogen wurden. Dabei lernt das Modell anhand ausgewählter Beispiele korrekter Antworten, die häufig von Menschen verfasst oder ausgewählt wurden. Die Forscher fanden heraus, dass dieser Schritt die Ergebnisse in Richtung einiger weniger dominanter Bereiche verschiebt, und eine spätere Anpassung gleicht dies nur geringfügig aus. Die Homogenisierung ist nicht in den Rohdaten des Internets angelegt; sie wird erst nachträglich hinzugefügt, wenn Menschen festlegen, wie eine gute Antwort aussieht.

Die Japan-Voreingenommenheit ist ein Symptom, doch der eigentliche Kernpunkt, zu dem ich immer wieder zurückkehre, ist subtiler: Ein globales Werkzeug reduziert die Weltkulturen auf zwei oder drei Standardeinstellungen. Die Studie stellt fest, dass dies selbst für Modelle gilt, die außerhalb des Westens entwickelt wurden; es sind also nicht einfach nur amerikanische Unternehmen, die ihren amerikanischen Geschmack exportieren. Offenbar belohnt der Anpassungsprozess selbst die sichere, dominante Antwort.

Die Studie interpretiert dies eher als praktische Warnung denn als Kuriosität. Für Werkzeuge, die in vielen Kulturen eingesetzt werden, argumentieren die Forscher, dass die Berücksichtigung verschiedener kultureller Perspektiven „entscheidend sein kann“. Dies ist besonders wichtig dort, wo diese Systeme standardmäßig eingesetzt werden: bei der Suche, beim Nachhilfeunterricht, bei der Übersetzung und bei den alltäglichen Antworten, die Menschen für bare Münze nehmen.

Ich halte das nicht für einen Skandal, und es macht die Modelle auch nicht nutzlos. Es erinnert uns lediglich daran, dass die „neutrale“ Standardeinstellung eines Modells eine getroffene Entscheidung ist, und dass diese Entscheidung tendenziell zum Vertrauten tendiert.

Lesen Sie auch: Der YouTuber sammyuri baute eine funktionierende Version von ChatGPT in Minecraft, indem er nur Vanilla-Redstone verwendete. Es handelt sich um eine Maschine mit 439 Millionen Blöcken, die ein winziges Modell mit 5 Millionen Parametern und einem Speicher von 64 Token ausführt; es kann Stunden dauern, bis eine einzige Antwort erzeugt wird, und oft wird Unsinn zurückgegeben, aber als Machbarkeitsnachweis ist sie bemerkenswert.

Und die Modding-Szene von Cyberpunk 2077 erweitert das Spiel ständig: Eine neue Mod fügt eine brutale Streitaxt hinzu, die auf den eingebauten Gore- und Zerstückelungssystemen basiert, und eine andere integriert die API von OpenAI in Night City, sodass Modder NPC-Dialoge, Nebenquests und adaptives Feindverhalten spontan generieren können.