Nutzung von Tools und Agenten
Was das bedeutet
Misst, wie gut das Modell mehrstufige Dialoge führt und externe Tools und Systeme korrekt bedient, um eine Aufgabe zu erfüllen.
Anwendungsfall
Betrieb von Bürgerservice-Agenten, die Anliegen durchgängig bearbeiten – etwa einen Datensatz abrufen, Anspruchsvoraussetzungen prüfen oder ein Formular ausfüllen.
Interaktives Diagramm. Pfeiltasten links und rechts wechseln den Benchmark, hoch und runter das Modell. Enter hebt ein Modell hervor, Escape hebt die Auswahl auf.
| Benchmark | Kolibri | Qwen3.6 35B-A3B | Mistral Small 4 119B-A6B | Nemotron 3 Super 120B-A12B |
|---|---|---|---|---|
| Tau2-Bench (Telecom) | 94.7% | 99.1% | 41.5% | 68.1% |
| Tau2-Bench (Retail) | 69.9% | 71.6% | 62.9% | 67.5% |
| Tau2-Bench (Airline) | 76.7% | 70.7% | 40% | 72.7% |
| Tau3-Bench (Banking) | 38.1% | 10.6% | 5.7% | 15.5% |
| BFCL v4 (overall) | 61.4% | 67.2% | 58% | 61% |