Soft-Prompt-Tuning für eine faire und effiziente Evaluierung von LLM-Benchmarks

Evaluierung von Basismodellen - LLM-Benchmarking - Soft-Prompt-Tuning

Blogbeitrag zu arXiv:2606.12117. Die Abbildungen auf dieser Seite sind interaktive Rekonstruktionen der Ergebnisse des Papers, die der Veranschaulichung dienen. Die genauen Zahlen finden Sie im Paper.

TL;DR

Messen Ihre LLM-Evaluierungs-Benchmarks das wahre Modellwissen oder nur Formatierungsfähigkeiten? Oftmals vermischen aktuelle Evaluierungen das Wissen des Modells mit der Fähigkeit, Formatvorgaben zu folgen: Ein Modell hat vielleicht die richtige Antwort, aber wenn es sie nicht im erwarteten Format ausgibt, wird es bestraft. Bei der Evaluierung von LLMs – insbesondere von Basismodellen (Base Models) – ist es entscheidend, diese Variablen zu isolieren und ihnen eine faire Chance zu geben, zu zeigen, was sie tatsächlich wissen. Die Lösung? Kurzes Soft-Prompt-Tuning. Ein kurzes Soft-Prompt-Tuning entfernt diese „Formatierungssteuer“, trennt Wissen vom Stil und liefert ein klareres Signal über die wahren Fähigkeiten eines Modells, ohne die Kosten einer vollständigen Post-Training-Pipeline.

Das LLM-Evaluierungsproblem und Soft-Prompt-Tuning als Lösung

Benchmarks dienen als Standardmetrik für die Evaluierung von Large Language Models (LLMs) bei verschiedenen Aufgaben. Dennoch stellen diese Werte häufig das tatsächliche Wissen des Modells falsch dar, da sie das, was es wirklich weiß, mit seiner Fähigkeit vermischen, strikte Formatierungsanforderungen einzuhalten. Beispielsweise könnte ein Modell über das Faktenwissen verfügen, dass Berlin die Hauptstadt Deutschlands ist, erhält aber dennoch null Punkte, nur weil es Es ist Berlin anstelle der exakt geforderten Zeichenkette #### Berlin ausgibt.

Dies ist besonders bedeutsam für Basismodelle (Base Models) — Modelle nach dem Pre-Training, aber vor dem Instruction-Tuning oder Reinforcement Learning —, die oft das relevante Wissen enthalten, aber schlechter darin sind, Anweisungen zu befolgen und benchmark-spezifische Antwortformate zu erzeugen. Infolgedessen führt dies zu Situationen, in denen das Modell das erforderliche Wissen besitzt, die Evaluierungsmetrik dies jedoch nicht erfasst.

Wir schlagen vor, Soft-Prompt-Tuning (Lester et al., 2021) als effiziente Methode zur fairen Evaluierung von LLMs über verschiedene Benchmarks hinweg einzusetzen. Soft-Prompts sind lernbare Embeddings, die der Eingabe des Modells vorangestellt werden und im Wesentlichen als Ersatz für handgeschriebene Anweisungen dienen. Während des Tunings frieren wir das Modell ein (Freezing) und trainieren für ~80 Schritte (~1,5 Minuten für ein 7B-Modell) lediglich 10 kleine Vektoren (etwa 0,0006 % der Parameter eines 7B-Modells) auf dem Trainingssplit des Benchmarks. Anschließend wenden wir diese aus den Trainingsdaten gelernten Embeddings direkt auf den Testsplit an. Dies lehrt das Modell das Format des Benchmarks, ohne das Wissen des Modells zu verändern. Dadurch spiegeln die Benchmark-Ergebnisse das interne Wissen des Modells besser wider.

Gängige Alternativen wie Log-Likelihood-Scoring oder nachträgliche Antwort-Extraktion funktionieren gut bei Aufgaben mit festen Antwortoptionen, scheitern aber bei offenen Aufgaben. Freie Antworten enthalten oft zusätzliches Reasoning, mehrdeutige oder mehrere Antworten, sodass Evaluierungswerkzeuge die eigentliche Modellantwort nicht zuverlässig extrahieren können. Das führt häufig zu fehlerhafter oder unfairer Bewertung. Eine ausführlichere Diskussion finden Sie im Paper.

Problem & vorgeschlagener Ansatz: Ein praktisches Beispiel

Hier ist ein Beispiel aus dem GSM8K-Datensatz, der Mathematikfragen enthält. Die untenstehenden Modelle können tatsächlich rechnen. Beobachten Sie, was mit dem Benchmark-Wert passiert, wenn Sie zwischen einem Basismodell, einem Post-Trained Modell und deren mit Soft-Prompts getunten Versionen wechseln.

2 Dutzend Muscheln sind 2 x 12 = 24 Muscheln. Kyle fand 24 x 2 = 48 Muscheln. Leigh hatte 48 / 3 = 16 Muscheln.korrekt · nicht erfasst
Frage: Mimi hat 2 Dutzend Muscheln am Strand gesammelt. Kyle hat doppelt so viele Muscheln wie Mimi gefunden und sie in seine Tasche gesteckt. Leigh hat sich ein Drittel der Muscheln geschnappt, die Kyle gefunden hat. Wie viele Muscheln hatte Leigh?
Antwort: 8falsche Antwort
Erklärung: 2 Dutzend Muscheln sind 2 x 12 = 24 Muscheln. Kyle fand 24 x 2 = 48 Muscheln. Leigh hatte 48 / 3 = 16 Muscheln.
Frage: Mimi hat 2 Dutzend Muscheln...

Mimi hat 2 x 12 = <<2*12=24>>24 Muscheln.
Kyle hat 24 x 2 = <<24*2=48>>48 Muscheln.
Leigh hat 48 / 3 = <<48/3=16>>16 Muscheln.
#### 16

Sowohl Basis- als auch Post-Trained Modelle schaffen es nicht, ihr wahres Wissen in den Benchmark-Werten zu zeigen, einfach aufgrund von Formatierungseigenheiten wie Endlosschleifen (Looping). Indem wir das eingefrorene Modell für nur 80 Schritte auf nur 10 lernbare Soft-Prompt-Vektoren tunen, umgehen wir diesen Formatierungsengpass vollständig und erschließen das verborgene Wissen sowohl in den Basis- als auch in den Post-Trained Modellen.

Was ist Soft-Prompt-Tuning?

Ein normaler Prompt ist Text: Sie schreiben Anweisungen und hoffen, dass das Modell sie befolgt. Die Formulierung zu finden, die die beste Leistung eines Modells freisetzt, ist nicht trivial, aufgabenspezifisch und bekanntermaßen fragil – ändert man ein einziges Wort, kann der Score stark schwanken.

Soft-Prompt-Tuning verzichtet komplett auf Wörter. Anstelle von natürlichsprachlichen Tokens stellen wir eine Handvoll lernbarer Vektoren (Soft-Prompts) direkt im Embedding-Raum des Modells voran, direkt vor die eigentliche Eingabe. Wir frieren das gesamte Modell ein und trainieren nur diese Vektoren, was dazu führt, dass das Modell seinen eigenen optimalen Prompt für die Aufgabe findet.

Für unsere Methode haben wir uns bewusst darauf beschränkt, nur 10 Soft-Prompt-Vektoren für nur 80 Trainingsschritte (~1,5 Minuten für ein 7B-Modell) auf dem Trainingssatz des Benchmarks zu trainieren und anschließend auf dem Testset zu evaluieren. Wir haben dieses strikte Setup gewählt, weil es dem Modell gerade genug Kapazität bietet, sich an das erwartete Format anzupassen, ohne neues Aufgabenwissen zu lernen.

Soft-Prompt-Tuning maximiert die Format-Einhaltung und zeigt keine zusätzlichen Wissensgewinne

Um Wissensgewinn und Formatanpassung unabhängig voneinander zu verfolgen, definieren wir zwei Schlüsselmetriken:

• Wissensgenauigkeit (Knowledge Accuracy): Ob das Modell die richtige Antwort liefert, unabhängig von der Formatierung. Bei Multiple-Choice-Aufgaben ordnen wir die Antwortmöglichkeiten nach Log-Likelihood (Wahrscheinlichkeit) und wählen die beste aus. Bei offenen Aufgaben prüft ein LLM-als-Richter (LLM-as-a-judge, Qwen3-32B), ob die korrekte Antwort irgendwo in der Rückgabe vorkommt, und ignoriert dabei die Formatierung.
• Format-Einhaltungsgenauigkeit (Format-following Accuracy): Ob das Modell im erwarteten Format antwortet, unabhängig von der sachlichen Richtigkeit. Bei geschlossenen Aufgaben prüfen wir, ob der generierte Text exakt einer der vordefinierten Antwortoptionen entspricht. Bei offenen Aufgaben verwenden wir denselben LLM-als-Richter, um zu überprüfen, ob die Formatierung korrekt ist.

Wir haben die Judge-Prompts anhand menschlich validierter Beispiele erstellt; vollständige Prompts und Beispiele finden Sie im Paper.

Zum Vergleich unserer Ergebnisse stellen wir Soft-Prompt-Tuning dem klassischen Zero-Shot- und Few-Shot-Prompting gegenüber. Die Zero-Shot-Baseline bewertet die Modellleistung anhand des Basis-Prompts direkt gefolgt von der Frage, während die Few-Shot-Baseline n (in unserem Fall n=3) Frage-Antwort-Beispielpaare aus dem Trainingssplit des Benchmarks einfügt, um dessen Formatierungsstil zu demonstrieren.

Wie in der Abbildung unten gezeigt, bleibt die Wissensgenauigkeit während des gesamten Soft-Prompt-Tunings flach, während die Format-Einhaltungsgenauigkeit auf 90–100 % klettert. Dies bestätigt, dass unser Ansatz die Formateinhaltung erfolgreich maximiert, ohne neues Wissen einzubringen.

Geschlossene Aufgaben erreichen am schnellsten die Sättigung (~Schritt 40), da ihr Format einfacher ist: Kopieren einer der aufgelisteten Optionen mit ihrem Buchstaben (A. Berlin). Offene Aufgaben dauern etwas länger (~Schritt 80), da ihre Formatierungsanforderungen anspruchsvoller sind (#### answer, kurze Trivia-Phrasen, LaTeX). Daher wählen wir Schritt 80 als idealen Punkt (Sweet Spot), um die Formateinhaltung ohne Wissensgewinn zu maximieren.

Mit Soft-Prompts getunte Basismodelle sagen das Ranking der Post-Trained Modelle präzise voraus

Während der LLM-Entwicklung generieren Forscher typischerweise zahlreiche Kandidaten für Basismodelle unter Verwendung verschiedener Pre-Training-Rezepte (z. B. unterschiedliche Datenmischungen und Architekturen). Die Evaluierung dieser Kandidaten zur Identifizierung des optimalen Rezepts ist jedoch nicht trivial, da ein vollständiges Post-Training für jede Variante unerschwinglich teuer ist. Um dies zu lösen, schlagen wir Soft-Prompt-Tuning als recheneffizienten Proxy vor, um die finalen Rankings der Post-Trained Modelle ohne die Notwendigkeit eines kostspieligen vollständigen Post-Trainings genau vorherzusagen.

Sobald das Formatierungsrauschen eliminiert ist, sollten die Leistungs-Rankings der mit Soft-Prompts getunten Basismodelle eng mit denen der vollständig Post-Trained Modelle übereinstimmen. Um dies zu bewerten, messen wir die Übereinstimmung zwischen den Rankings der Basismodelle und der Post-Trained Modelle unter Verwendung der Bubble-Sort-Tauschdistanz (Swap Distance) — die Anzahl der benachbarten Tauschvorgänge, die erforderlich sind, um das eine Ranking in das andere zu überführen. Eine geringere Tauschdistanz zeigt eine stärkere Übereinstimmung an.

Wichtig ist, dass jegliche Übereinstimmungen, die durch Zero- und Few-Shot-Methoden erzielt werden, größtenteils Artefakte der Score-Kompression (Score Compression) sind. Diese Modelle erreichen auf Benchmarks eine Exakte-Treffer-Genauigkeit (Exact Match Accuracy) von nahezu null, wodurch sie keine aussagekräftigen Leistungsmetriken liefern. Infolgedessen greift der Sortieralgorithmus auf eine alphabetische Sortierung anstelle eines punktbasierten Rankings zurück, was bedeutet, dass diese Rankings stark verrauscht sind und keine echte Leistungsfähigkeit in der realen Welt widerspiegeln. Im Gegensatz dazu gilt diese Einschränkung nicht für das Soft-Prompt-Tuning. Wie das folgende Diagramm zeigt, hebt das Soft-Prompt-Tuning die Leistungswerte des Basismodells erfolgreich auf ein Niveau an, das mit dem der Post-Trained Modelle vergleichbar ist, wodurch Score-Kompression vermieden und aussagekräftige, zuverlässige Übereinstimmungen erzielt werden.

Das folgende Diagramm zeigt die Punktelücke (Score Gap) zwischen Basis- und Post-Trained Modellen über Zero-Shot-, Few-Shot- und Soft-Prompt-Tuning hinweg. Unsere früheren Ergebnisse bestätigend, führt das Soft-Prompt-Tuning zur kleinsten Lücke – was beweist, dass es die einzige Methode ist, die die Leistung von Basismodellen erfolgreich so anhebt, dass sie eng mit denen der Post-Trained Modelle übereinstimmt.

Fazit

Eine gute Evaluierungspraxis beinhaltet sicherzustellen, dass wir tatsächlich das messen, was wir zu messen beabsichtigen – ohne dass andere Faktoren die Ergebnisse verzerren. Derzeit vermischen Benchmarks das wahre Wissen eines Modells mit seiner Fähigkeit, Formatierungsregeln zu befolgen, was ihre Ergebnisse höchst irreführend macht. Soft-Prompt-Tuning behebt dies, indem es das, was ein Modell weiß, von der Art und Weise trennt, wie es spricht. Es bietet Ihnen ein sauberes, genaues Signal zum Vergleich von Modellen, bevor Sie in teures Post-Training investieren.

Lesen Sie das vollständige Paper: arXiv:2606.12117