Übersetzte Wörter, unübersetzte Bedeutung: Deutsche Benchmarks brauchen mehr als Übersetzung

TL;DR: Was misst ein übersetzter Benchmark eigentlich? Oft etwas anderes als das Original. Wir haben dreißig deutsche Übersetzungen populärer LLM-Benchmarks untersucht und drei Gründe dafür gefunden: Übersetzungsfehler, grammatische Unstimmigkeiten und Fragen, die weiterhin in der amerikanischen Kultur verwurzelt sind.

Angenommen, man möchte ein Large Language Model (LLM) mit diesem Rätsel testen:

What can you call your sweetheart and also spread on toast?

(auf Deutsch etwa: „Was kann man aufs Brot streichen und auch als Kosenamen für seinen Schatz benutzen?“)

Im Englischen lautet die Antwort „honey“. Im Deutschen funktioniert das Rätsel nicht: Die wörtliche Übersetzung „Honig“ ist kein Kosename. Um dieselbe Fähigkeit auf Deutsch zu testen, bräuchte man ein anderes Rätsel.

Was Evals eigentlich messen

Wenn man schon einmal einen Chat-Assistenten genutzt hat, hat man mit einem LLM interagiert. Um herauszufinden, wie gut ein solches Modell ist, evaluieren wir es. Eine LLM-Evaluation, auch Eval oder Benchmark genannt, ist eine Sammlung von Tausenden Fragen mit bekannten Antworten. Das Modell beantwortet sie, und der Anteil richtiger Antworten ist sein Score. Gängige Evals prüfen Themen wie Naturwissenschaften (z. B. ARC), Alltagsverständnis (z. B. HellaSwag) oder Allgemeinwissen (z. B. MMLU). Über Ergebnisse solcher Evals wird bei fast jeder Modellveröffentlichung berichtet.

Was sagt uns ein solcher Eval-Score? Im Großen und Ganzen spiegelt er zwei Dinge wider: was ein Modell weiß und was es kann. Eine Eval zielt normalerweise auf eine bestimmte Fähigkeit ab, doch es ist schwierig, Fähigkeiten sauber zu isolieren. Nehmen wir diese echte Aufgabe aus GSM8K, einer Mathematik-Eval (von uns aus dem Englischen übersetzt):

Claire macht jeden Morgen ein Omelett aus 3 Eiern zum Frühstück. Wie viele Dutzend Eier wird sie in 4 Wochen essen?

Sie zu lösen, erfordert mehr als Arithmetik. Das Modell muss auch wissen, dass eine Woche sieben Tage hat und ein Dutzend zwölf Stück umfasst. Somit misst selbst eine Mathematik-Eval sowohl, was ein Modell kann, als auch, was es weiß. Darüber hinaus muss die Antwort in der erwarteten Form vorliegen1. Keine Eval misst eine einzelne Fähigkeit isoliert. Jeder Score spiegelt eine Mischung von Fähigkeiten wider, und diese Mischung ist das, was die Eval misst.

Letztlich interessieren uns einzelne Fragen, etwa ob ein Modell Claires Eier zählen kann, nur selten. Entscheidend ist, wofür der Score steht: eine Mischung von Fähigkeiten (hier Mathematik und Allgemeinwissen), die uns zeigt, wie nützlich das Modell als Assistent sein kann. Um einen Score zu interpretieren, müssen wir diese Mischung daher kennen. Die Übersetzung der Eval ins Deutsche kann diese Mischung verändern und damit auch die Bedeutung des Scores.

Warum deutsche Modelle deutsche Evals brauchen

Bei Aleph Alpha entwickeln wir Modelle für deutschsprachige Nutzerinnen und Nutzer: Modelle, die auf Deutsch und im Kontext deutscher Kultur, deutschen Rechts und deutscher Gesellschaft funktionieren. Ein früherer Beitrag argumentierte, dass solche Modelle deutsche Trainingsdaten benötigen und übersetzte englische Daten nicht ausreichen. Dasselbe gilt für Evals. Dennoch sind nahezu alle Standard-Evals auf Englisch, und die weit verbreiteten deutschen Versionen sind maschinelle Übersetzungen. Messen diese Übersetzungen noch das, was wir ursprünglich messen wollten?

Bei der Untersuchung von dreißig ins Deutsche übersetzten Evals fanden wir viele Probleme. Hier heben wir drei hervor: (lustige) Übersetzungsfehler, Grammatik, die bereits die Antwort verrät, und Fragen, die zwar auf Deutsch gestellt werden, aber in der Ausgangskultur verwurzelt bleiben.

Wenn das Deutsch selbst zum Rätsel wird

Das offensichtlichste Problem bei übersetzten Benchmarks ist zugleich das älteste: fehlerhafte Übersetzungen. Herkömmliche maschinelle Übersetzungssysteme sind fehleranfällig2. Fehlübersetzungen sind auch die einfachste Art, wie eine Übersetzung verändern kann, was eine Eval misst. Wir teilen sie in drei Kategorien ein, je nachdem, wie viel von der ursprünglichen Bedeutung erhalten bleibt3.

1. Falsche Wortwahl, gleiche Frage. Ein einzelnes Wort oder ein Begriff wird falsch übersetzt, doch die Frage bleibt unverändert. Um sie zu beantworten, muss das Modell über die schlechte Übersetzung hinwegsehen, häufig indem es das dahinterstehende englische Wort errät. Der Score misst nun zum Teil, wie gut das Modell das englische Original rekonstruieren kann.

2. Saubere Wortwahl, andere Frage. Jedes Wort ist korrektes Deutsch, doch zusammen fragen die Wörter nach etwas anderem. Nichts weist darauf hin, dass die Frage verändert wurde, sodass das Modell anhand der Antwort auf eine Frage bewertet wird, die ihm nie gestellt wurde.

3. Kaputter Satz, keine Bedeutung. Im Extremfall ist die Übersetzung überhaupt kein Deutsch mehr: Die Wortstellung ist falsch und die Grammatik fehlerhaft. Ein solcher Datenpunkt misst nicht mehr, was er messen sollte. Im besten Fall prüft er, ob das Modell die ursprüngliche Frage aus dem fehlerhaften Deutsch rekonstruieren kann, eine Fähigkeit, die wir nie messen wollten. Im schlimmsten Fall lässt sich die Frage überhaupt nicht rekonstruieren und das Modell kann nur raten. Dadurch entsteht statistisches Rauschen: zufällige Schwankungen im Eval-Score, die nichts über die Fähigkeiten des Modells aussagen.

Wenn die Grammatik allein die Frage beantwortet

Die nächsten Probleme sind subtiler und betreffen Multiple-Choice- und Lückentext-Evals, bei denen das Modell die Option auswählt, die am besten zur Frage passt. Englische Wörter verändern kaum ihre Form: Die Artikel „the“ und „a“ passen beispielsweise zu jedem Nomen4. Im Deutschen hat jedes Nomen ein Genus, und Artikel und Adjektive verändern ihre Form, um dazu zu passen. Daher schränkt der Anfang eines Satzes im Deutschen ein, wie er fortgesetzt werden kann. Im englischen Lückentext I ate the ___ (hamburger / melon) passen zum Beispiel beide Optionen. In der deutschen Übersetzung Ich aß den ___ (Hamburger / Melone) ist nur „Hamburger“ grammatisch korrekt, da „Melone“ den femininen Artikel „die“ erfordern würde. Werden eine Frage und ihre Optionen getrennt übersetzt, wird daher ihre Kongruenz gestört, entweder bei allen Optionen oder, schlimmer noch, nur bei einigen. Das führt zu den folgenden Problemen.

1. Frage und Optionen driften auseinander. Werden Frage und Antwortoptionen getrennt übersetzt und anschließend wieder zusammengesetzt, passen sie möglicherweise nicht mehr zueinander. In den folgenden Beispielen aus ARC und HellaSwag stimmt die Grammatik nicht mehr: Keine Option setzt die deutsche Frage grammatisch fort. In den beiden MMLU-Beispielen (Global-MMLU und Eurolingua) stimmt der Inhalt nicht mehr: Nur ein Teil der Aufgabe wurde übersetzt. In beiden Fällen muss das Modell zuerst erraten, wie die Aufgabe gemeint war, bevor es sie beantworten kann.

2. Die Grammatik verrät die Antwort. In manchen Fällen verrät die Grammatik sogar die Antwort. Im folgenden ARC-Beispiel endet die Frage auf mit einem, sodass nur die maskulinen und neutralen Nomen Schalter und Kabel möglich sind (darunter die richtige Antwort). Die Grammatik hat die Auswahl halbiert, ohne dass Physikkenntnisse benötigt wurden. Die Aufgabe wird leichter, und der Score überschätzt die Physikkenntnisse des Modells.

Auch der umgekehrte Fall kann eintreten: Angenommen, bei einer Lückentextfrage stehen zwei mögliche Ergänzungen zur Auswahl. Eine ist grammatisch korrekt, aber logisch falsch, bei der anderen ist es umgekehrt. So entsteht ein schlecht gestellter Test, bei dem das Modell gezwungen ist, sich zwischen Logik und Grammatik zu entscheiden. Die Bewertung solcher Fragen belohnt einen Kompromiss, den kein echter Nutzer eingehen würde; von Antworten wird erwartet, dass sie gleichzeitig grammatisch und logisch stimmig sind.

Eine einfache Lösung besteht darin, den Artikel aus der Frage in die Optionen zu verschieben, wie im folgenden Wino-X-Beispiel. Jede Option enthält dann ihren eigenen Artikel, sodass alle Optionen grammatisch bleiben. (Im Englischen kann „the“ in der Frage bleiben, da es zu jedem Nomen passt.)

Deutsche Wörter, fremder Kontext

Die Zahl 24.678 bedeutet an verschiedenen Orten Unterschiedliches. In den USA ist sie eine Dezimalzahl nahe fünfundzwanzig. In Deutschland, wo ein Punkt die Tausenderstellen trennt, liegt sie nahe fünfundzwanzigtausend. Evals sind voll von solchem kulturellem Kontext: Namen, Einheiten, Orte und Fakten, die zu einer bestimmten Region gehören. Eine übersetzte Frage behält den Kontext ihres Ursprungs bei und misst daher auch die Vertrautheit mit dieser Region. Das fügt der Mischung an Fähigkeiten, die wir mit der Eval testen, eine weitere Zutat hinzu.

Fragen zu Baseball und US-Recht sind für ein deutsches Modell durchaus legitim, testen aber Wissen über das Leben in den USA. Baseball gegen Fußball und Hotdogs gegen Schnitzel auszutauschen, würde stattdessen Wissen über das Leben in Deutschland messen5. Beides sind valide Tests. Entscheidend ist, dass diese Wahl bewusst getroffen wird und nicht als Nebeneffekt der Übersetzung.

Damit unsere Modelle deutschen Nutzerinnen und Nutzern gut dienen, wollen wir Evals, die im deutschen Leben angesiedelt sind: Wenn wir ein Modell immer nur anhand von Meilen, Gallonen, Baseball und US-Recht testen, wissen wir nicht, ob es mit Kilometern, Litern, Fußball und deutschem Recht umgehen kann. Doch eine Eval anzupassen erfordert mehr als den Austausch von Wörtern, wie zwei Beispiele zeigen.

1. Die Schwierigkeit, Einheiten zu übersetzen. Viele Evals, insbesondere in Mathematik und Naturwissenschaften, enthalten Einheiten. Manche lassen sich einfach austauschen: In der folgenden GSM8K-Aufgabe mit den Enteneiern könnten zwei Dollar pro Ei genauso gut zwei Euro sein. Den Preis zum heutigen Wechselkurs beispielsweise in „1,72 Euro“ umzurechnen, wäre gekünstelt, nicht deutscher. Andere Einheiten lassen sich nur austauschen, wenn sich auch die Zahlen ändern. TruthfulQA fragt nach dem kleinsten Land, das mindestens eine Quadratmeile groß ist. Eine Quadratmeile entspricht 2,59 Quadratkilometern, einem ungewöhnlich spezifischen Wert, nach dem kaum jemand fragen würde. Eine Abrundung auf zwei Quadratkilometer würde die richtige Antwort allerdings von Nauru zu Monaco ändern. Einheiten zu übersetzen erfordert Fingerspitzengefühl: Man muss wissen, wann nur die Einheit ausgetauscht, wann auch die Zahlen umgerechnet und wann die Einheit unverändert gelassen werden sollte.

2. Kultur, Recht und Geschichte lassen sich nicht übersetzen. Manche Fragen sind ausdrücklich an die Institutionen eines Landes gebunden. MMLU führt US-Außenpolitik unter seinen 57 Themenbereichen, und seine juristischen Fragen betreffen vor allem amerikanisches Recht. Eine Übersetzung fragt weiterhin nach dem amerikanischen Rechtssystem; um deutsches Recht zu testen, müssen neue Fragen geschrieben werden. Dasselbe gilt für Kultur: Eine übersetzte Frage zu einer Baseballmeisterschaft im Jahr 1940 bleibt eine Frage über amerikanische Sportgeschichte, und selbst eine normale Ökologiefrage in ARC ist unter Alligatoren in den Feuchtgebieten Floridas angesiedelt.

Klügere Übersetzung schließt manche Lücken, aber nicht alle

Neuere agentische Übersetzungspipelines, wie die hinter den mehrsprachigen Datensätzen von ellamind, haben die Qualität deutscher Evals erheblich verbessert. Anders als frühere Systeme sieht ein LLM-Agent die gesamte Frage, kennt den Evaluationskontext und arbeitet in mehreren Schritten: Er übersetzt, überprüft seine eigene Übersetzung und passt Ton und Wortwahl an. Dieser agentische Ansatz behebt viele der oben beschriebenen Probleme (falsche Wörter und grammatische Unstimmigkeiten), wie die Beispiele zeigen.

Translation note: Used 'Welches der folgenden Beispiele...' to accommodate the plural choice 'Bäume' (Trees) alongside singular choices.
Adaptation note: Translated 'Oil' to 'Erdöl' (Petroleum) to be scientifically precise in the context of natural resources.

Translation note: Translated 'cancer' idiomatically as 'Krebsgeschwür' (cancerous ulcer/tumor), which is the standard German translation for this metaphor.

Im ARC-Beispiel wird „oil“ zu „Erdöl“ statt zu „Öl“, weil es in der Frage um natürliche Ressourcen geht. Im SimpleQA-Beispiel wird die Metapher „cancer“ mit dem im Deutschen gebräuchlicheren „Krebsgeschwür“ wiedergegeben. Auch die grammatische Unstimmigkeit verschwindet: Die ARC-Frage wurde zu „Welches der folgenden Beispiele“ umformuliert, sodass der Plural „Bäume“ neben den Optionen im Singular zur Frage passt. In jedem Fall berücksichtigt die Übersetzung den Kontext.

Die Pipeline trifft außerdem Ermessensentscheidungen darüber, wie die im vorigen Abschnitt erwähnten Einheiten, Schreibweisen und Namen übersetzt werden. Namen werden lokalisiert („Rani“ wird zu „Ronja“) und Uhrzeiten werden ins 24-Stunden-Format gebracht. Wenn die Rechnung von der Einheit abhängt, bleibt die Einheit erhalten: Die folgende GSM8K-Aufgabe behält ihre Meilen pro Stunde bei. Zahlen in den Antwortoptionen behalten ihr ursprüngliches Format, damit die Scores mit dem Original vergleichbar bleiben.

Adaptation note: Changed the name 'Rani' to 'Ronja'. Corrected the English typo 'faster car' to 'fastest car' ('schnellste Auto') for logical coherence. Kept miles and MPH. Changed 'times faster' to 'mal so schnell wie' to correctly match the mathematical operations in the solution.

Adaptation note: Adapted 12-hour time format (05:01 pm, 07:30 am, 5:00 pm) to 24-hour time format (17:01 Uhr, 07:30 Uhr, 17:00 Uhr) which is standard in German business contexts.

Die Grenzen zeigen sich bei Alltagsszenarien. Hier ersetzt die Pipeline fremde Konzepte durch deutsche Entsprechungen. Aus einer Physikfrage über American Football wird eine über Fußball (siehe das erste Beispiel unten). Genau diese Art der Anpassung wurde im vorigen Abschnitt gefordert. Das Problem ist, dass nichts festlegt, wie weit diese Anpassung geht. In etwa einem Drittel der auf diese Weise übersetzten Evals ersetzte die Pipeline häufig ganze Szenarien6. An diesem Punkt übersetzt das LLM den Benchmark nicht mehr nur, sondern schreibt ihn um7. Das ist an sich kein Problem, bedeutet aber, dass das Übersetzungssystem für uns entschieden hat, ob die Eval das Leben in Deutschland oder in der Ausgangskultur testet.

Adaptation note: Adapted 'football kicked off a tee' (US sports context) to 'soccer ball kicked from penalty spot' (Elfmeterpunkt) to ensure the concept of 'object at rest' is culturally clear to German speakers without ambiguity. Kept 'Baseball' in choice B as it is a distinct scenario often cited in physics examples despite being less common in Germany.

Synthesis note: The scenario was shifted from 'Baking cookies' (indoor/domestic) to 'Making stick bread' (outdoor/recreation) to fit the requested Sports/Recreation category while maintaining the 'Moderate' creativity level (related activity of preparing food, but in a hobby context). The core logic of checking/finishing a baking process remains. Culturally specific elements like 'Haselnussstöcke' and 'Stockbrot' were used.

Die Anmerkungen zeigen außerdem, dass die Pipeline festen Vorgaben folgt, etwa stereotypisch deutsche Namen wie „Leon“, „Finn“ und „Ronja“ zu verwenden. Auf Tausende von Fragen angewandt, führen solche Regeln dazu, dass die Eval eine deutlich geringere Bandbreite an Namen verwendet, als Menschen in Deutschland tatsächlich tragen.

Mehr als eine Übersetzung

Eine gute deutsche Eval ist mehr als nur eine gute Übersetzung einer englischen. Nach der Untersuchung von dreißig übersetzten deutschen Evals stellen wir fest, dass eine Übersetzung oft verändert, was eine Eval misst. Klassische maschinelle Übersetzung führt zu falsch übersetzten Wörtern, kaputten Sätzen und Fragen, die nicht mehr zu ihren Antworten passen. Eine falsch übersetzte Eval erfordert dann Fähigkeiten, die wir nie messen wollten, etwa das Erraten des englischen Originals. Agentische Übersetzungspipelines beheben diese Fehler weitgehend.

Die größte Herausforderung bleibt: der kulturelle Kontext, den jede Eval implizit mitbringt. Soll eine Frage von Baseball oder von Fußball handeln, vom Supreme Court oder vom Bundesgerichtshof? Die Antwort entscheidet, was die Eval misst. Diese Entscheidungen sind wertbehaftet, und wir sollten sie selbst treffen, nicht das Übersetzungssystem.

Bei Aleph Alpha entwickeln wir Modelle für das, was unsere deutschen Kundinnen und Kunden tatsächlich brauchen, von Einheiten und Fachbegriffen bis hin zu kulturellem und wirtschaftlichem Kontext. Unsere Evals müssen diese Anforderungen widerspiegeln. Das heißt: Wir entscheiden selbst, was unsere Evals abdecken, und legen den Schwerpunkt auf Bereiche, die uns wichtig sind. Ein Beispiel dafür ist Kulturbank, unser deutscher Benchmark für kulturelles Wissen. Diese Überlegungen reihen sich in weitere Arbeiten zu guten Evals ein. In ihnen geht es zum Beispiel darum, warum unterschiedlich tokenisierte Leerzeichen eine Rolle spielen (Mind the Tokenizer) und wie ein angepasstes Bits-per-Byte-Scoring Evaluationen verbessert (PriorBPB). So wollen wir deutsche LLMs passender evaluieren und damit letztlich bessere Modelle bauen.

Hinweis

Die Beispiele in diesem Beitrag sind kurze Auszüge aus öffentlich verfügbaren Datensätzen Dritter. Sie werden ausschließlich zu Illustrationszwecken wiedergegeben und unterliegen den jeweiligen Originallizenzen. Sie wurden ausgewählt, um bestimmte Übersetzungsprobleme zu veranschaulichen, und stellen keine Bewertung der Gesamtqualität dieser Datensätze oder der Arbeit ihrer Autorinnen und Autoren dar.

Danksagung

Dieses Projekt wurde im Rahmen des Programms „Digitales Europa“ der Europäischen Union unter der Finanzhilfevereinbarung Nr. 101195233 (OpenEuroLLM) gefördert.

Für den Inhalt dieser Veröffentlichung ist allein das OpenEuroLLM-Konsortium verantwortlich; er gibt nicht notwendigerweise die Meinung der Europäischen Union wieder.

Vielen Dank an Teryn Jones und Emily Savine für hilfreiches Feedback.