KI-Output-Qualität im öffentlichen Sektor sicherstellen

Die meisten Organisationen verfügen inzwischen über funktionierende KI-Prototypen. Deutlich seltener sind dagegen KI-Systeme, die auch unter produktiven Bedingungen konsistente und vertrauenswürdige Ergebnisse liefern. Um den reinen Hype hinter sich zu lassen, müssen KI-Systeme mit derselben Sorgfalt entwickelt und betrieben werden wie jede andere kritische Infrastruktur: Qualität erfordert klare Definitionen, messbare Standards, kontinuierliches Monitoring und eindeutige Verantwortlichkeiten. Dies zu erreichen, ist keine einmalige Hürde, sondern eine dauerhafte betriebliche Disziplin.

Dieser Artikel bietet einen praxisnahen Einblick in das Thema KI-Output-Qualität. Die Erkenntnisse stammen aus unserer Unterstützung im Projekt SPARK („Beschleunigung von Planungs- und Genehmigungsverfahren durch KI"), einer der großen KI-Implementierungen des Bundesministeriums für Digitales und Staatsmodernisierung (BMDS) für die öffentliche Verwaltung. Konzipiert als Open-Source-System mit dem Ziel, die Genehmigungszeiten für große Infrastrukturprojekte zu reduzieren, extrahiert die Lösung Informationen aus umfangreichen Antragsunterlagen, prüft und bewertet diese im Kontext der rechtlichen Vorgaben auf Genehmigungsfähigkeit.

Der folgende Ansatz zeigt, wie sich ein robustes Framework für KI-Output-Qualität etablieren lässt – unter strengen regulatorischen Auflagen, mit menschlicher Aufsicht und bei geringer Datenverfügbarkeit.

Die Herausforderung: Wenig Daten, hohe Tragweite

Die Evaluierung einer KI unter Laborbedingungen unterscheidet sich grundlegend von der Qualitätssicherung im täglichen Betrieb. In unserer Arbeit für den öffentlichen Sektor haben zwei zentrale Herausforderungen unseren Ansatz geprägt:

1. Datenknappheit: Im Gegensatz zu Consumer-Tech-Projekten fehlen bei Projekten im Unternehmens- und Behördenumfeld zu Beginn oft umfangreich vorab gelabelte historische Datensätze, um Modelle zu trainieren oder zu evaluieren.
2. Compliance & Risikotoleranz: Da Fehler direkte Auswirkungen auf Verwaltungsprozesse haben können, sind Erklärbarkeit und Risikominimierung nicht verhandelbar.

Wir sind diesen Herausforderungen begegnet, indem wir ein Betriebsmodell für KI-Qualität entworfen haben, das auf fünf ineinandergreifenden Bausteinen beruht – ein kontinuierlicher Kreislauf über Entwicklung, Bereitstellung (Deployment) und Monitoring hinweg:

Jeder Baustein erfüllt einen klaren Zweck – das volle Potenzial entfaltet sich, wenn sie als ineinandergreifendes System konzipiert werden.

1. Evaluierung: Qualität messbar machen

Der erste Schritt besteht darin, die vage Vorstellung von einem „guten KI-Output" in harte Anforderungen zu übersetzen – das bedeutet konkrete Metriken und Leistungsschwellenwerte. Da zu Beginn keine umfangreichen Testdatensätze vorlagen, war ein anderer technischer Ansatz erforderlich:

• KI-Testfälle als „Unit- und Integrationstests": Anstelle breiter statistischer Datensätze haben wir gezielt erfolgskritische Testszenarien manuell erstellt, die zentrale KI-Interaktionen abbilden. Diese umfassten explizit auch Grenzfälle (Edge Cases) und nicht nur die Idealverläufe (Happy Paths).
• Anwendungsspezifische Metriken: Wir haben maßgeschneiderte Metriken für Korrektheit, Vollständigkeit und Konsistenz definiert.
• Quality Gates: Nach der ersten Entwicklungsphase wurden diese Evaluierungen in die Bereitstellungs-Pipelines integriert und werden seitdem regelmäßig ausgeführt: vor jedem Deployment, nach Änderungen an Prompts, Modellen oder Integrationen sowie fortlaufend im Betrieb. Klare Schwellenwerte verwandeln diese Tests in Quality Gates: Sinkt die Leistung unter eine vereinbarte Baseline, kann bspw. ein Deployment so lange blockiert werden, bis das Problem analysiert und behoben ist.

Im laufenden Betrieb entwickelt sich die Testsuite kontinuierlich weiter. Fehlerfälle, neue Grenzfälle und veränderte Anforderungen werden fortlaufend in die KI-Testbibliothek aufgenommen. So wird sichergestellt, dass die Messungen mit der tatsächlichen Nutzung des Systems Schritt halten.

2. Echtzeit-Erklärbarkeit: Entscheidungen transparent und nachvollziehbar machen

Sobald ein System produktiv ist, müssen die Nutzenden in der Lage sein, Vorschläge der KI direkt im jeweiligen Kontext zu validieren. Typischerweise gibt es verschiedene Wege, die Vertrauenswürdigkeit eines Systems zu messen – etwa durch die Analyse von Token-Wahrscheinlichkeiten oder die Generierung mehrerer Outputs, um deren semantische Stabilität zu prüfen. Unser Ansatz ging jedoch einen Schritt weiter: Wir wollten sowohl einen Vertrauenswert (Model Confidence Score) als auch eine Begründung dafür liefern, warum das System eine Antwort für vertrauenswürdig hält. Unser Vorgehen:

• Automatisierte Überprüfung (Judge-LLMs, quantitativ): Anstatt uns auf reine Modellstatistiken zu verlassen, die nicht immer zugänglich oder leicht interpretierbar sind, haben wir dedizierte, externe „Judge-LLMs" (Prüf-Modelle) eingesetzt, um die Outputs in Echtzeit zu bewerten.
• Quellenrückverfolgung & Entscheidungspfade (qualitativ): Jeder einzelne Entscheidungsschritt der KI wird im Nachgang (post-hoc) nachvollziehbar gemacht und mit Belegen hinterlegt. Die zugrundeliegenden Quellen oder Eingabedaten werden direkt mit der Argumentation der Antwort verknüpft. So können die Nutzenden sofort überprüfen, wie das System zu einem Ergebnis gelangt ist, und fehlende Informationen oder veraltete Referenzen schnell erkennen.

Diese Multi-Modell-Validierung reduziert „Black-Box"-Effekte und sorgt für die notwendige Revisionssicherheit bei Prozessen mit hoher Tragweite im öffentlichen Sektor.

3. Nutzer-Feedback: Jede Interaktion als Signal nutzen

Kein Evaluierungsplan kann vollständig vorhersehen, wie reale Nutzende tatsächlich mit einem KI-System interagieren. Ein effektives Feedback-Design muss daher über einen einfachen Daumen-hoch-Button hinausgehen. Es muss verschiedene Arten von Rückmeldungen erfassen:

• Implizite Signale: Das nachträgliche Umformulieren von Suchanfragen, ignorierte Vorschläge der KI oder manuelle Korrekturen durch die Nutzenden.
• Explizite Signale: Bewertungen, kurze Anmerkungen (wie „unvollständig", „falsche Quelle", „unklare Formulierung") oder strukturierte Prüfformulare bei besonders risikoreichen Arbeitsschritten.

Diese Signale decken subtile, kontextabhängige Probleme auf, die automatisierte Testumgebungen oft übersehen: mehrdeutige Formulierungen, fehlende Abdeckung von Grenzfällen, Usability-Probleme oder Abweichungen durch lokale Verwaltungspraktiken. Zudem helfen sie dabei, zwischen technischer Korrektheit und echtem praktischen Nutzen im Arbeitsalltag zu unterscheiden.

Das gesammelte Feedback wird systematisch in den Evaluierungskreislauf zurückgespeist, um die Testbibliothek kontinuierlich zu erweitern.

4. Zentrales Monitoring: Das Gesamtsystem im Blick behalten

Sobald eine KI mehrere Teams, Standorte oder Prozesse unterstützt, lässt sich Qualität nicht mehr rein lokal steuern. Organisationen benötigen zusätzlich eine zentrale Monitoring-Übersicht, die alle Qualitätssignale konsolidiert.

Ein solcher Monitoring-Baustein umfasst typischerweise:

• Visualisierungen von Evaluierungsergebnissen im Zeitverlauf, die zeigen, wie sich die Leistung nach Deployments oder Datenänderungen entwickelt.
• Aggregierte Transparenzmetriken, wie etwa die Verteilung von Vertrauenswerten (Confidence Scores) oder die Häufigkeit von Fällen mit geringer Systemkonfidenz.
• Feedback-Analysen, die Muster im Nutzerverhalten und in der Zufriedenheit aufdecken.
• Schwellenwerte und Alarmierungen (Alerts), die signifikante Abweichungen sofort sichtbar machen.

Diese zentrale Sicht ersetzt nicht die lokale Verantwortung, aber sie ermöglicht es den Betriebsteams und fachlichen Leitungen, ein einheitliches Bild des Systemverhaltens zu teilen. Sie bildet die Grundlage für datengestützte Entscheidungen darüber, wo eingegriffen werden muss, welche Optimierungen Priorität haben und wann ein System bereit für den breiten Roll-out ist.

5. Iterative Optimierung: Den Kreislauf schließen

Ein effektiver Betriebskreislauf sorgt dafür, dass die Erkenntnisse aus dem Monitoring in konkrete System-Updates einfließen. Durch klare Verantwortlichkeiten für die Interpretation der Monitoring-Signale entwickelt sich das System kontinuierlich weiter – sei es durch das Verfeinern von Prompts, das Anpassen von Leitplanken (Guardrails) oder das Aktualisieren von Wissensquellen auf Basis realer Betriebsdaten. Ein funktionierender Kreislauf beantwortet drei Kernfragen:

• Wer ist dafür verantwortlich, die Signale zu interpretieren und über Änderungen zu entscheiden?
• Wie werden Änderungen implementiert und validiert?
• Wie stellen wir sicher, dass Verbesserungen in einem Bereich keine Verschlechterungen (Regressionen) in einem anderen verursachen?

In der Praxis bedeutet dies oft die Einrichtung eines dedizierten Teams für den KI-Betrieb und die Systemweiterentwicklung, welches eng mit Fachexperten und Prozesseigentümern zusammenarbeitet. Zu den typischen Aktivitäten gehören:

• Das Erweitern der Testumgebungen um neue Fälle, die aus Fehlern und Nutzer-Feedback abgeleitet wurden.
• Das Optimieren von Prompts, Workflows und Guardrails als Reaktion auf identifizierte Probleme.
• Das Aktualisieren von Modellen oder Wissensquellen, gefolgt von kontrollierten Roll-outs und A/B-Tests.

Jede Änderung wird anhand derselben Metriken und Dashboards gegen die bestehende Baseline evaluiert. Das Ziel ist es, die Gesamtqualität und Stabilität der KI-Outputs kontinuierlich und nachhaltig zu steigern.

Fazit: Qualität ist eine organisatorische Fähigkeit

Die Etablierung dieser fünf Bausteine geschieht nicht von heute auf morgen. Die Qualität von KI-Outputs ist keine statische Eigenschaft eines Modells, sondern eine fortlaufende organisatorische Fähigkeit. Organisationen durchlaufen dabei typischerweise verschiedene Reifegradstufen:

• Testen während der Entwicklung: Qualität kann in kontrollierten Umgebungen gemessen werden, der Nutzen für den tatsächlichen Betrieb ist jedoch begrenzt.
• Erster produktiver Einsatz: Erste Qualitätssignale sind verfügbar, aber Trends sind noch instabil und die Governance befindet sich im Aufbau.
• Datengestützter Betrieb: Evaluierungen, Transparenzmetriken und Feedback liefern ein stimmiges Monitoring-Bild, das gezielte Interventionen ermöglicht.
• Kontinuierliche Optimierung: Qualitätssicherung ist ein routinierter Betriebsprozess, bei dem Verbesserungen durch messbare Ergebnisse gesteuert werden.

Mit den richtigen Bausteinen – Evaluierung, Erklärbarkeit, Nutzer-Feedback, Monitoring und iterative Optimierung – kann KI den Sprung von beeindruckenden Prototypen zu einer verlässlichen Infrastruktur schaffen.

Erst dann stellen Organisationen nicht mehr die Frage, ob sie einzelnen KI-Outputs vertrauen können. Stattdessen verlassen sie sich auf ein System, das Probleme erkennt, menschliches Urteilsvermögen einbindet und sich kontinuierlich verbessert. Genau hier stiftet KI einen nachhaltigen und echten Mehrwert für Unternehmen und die öffentliche Verwaltung. Nicht durch Hype, sondern fest verankert in der Strategie.

Sie wollen mehr erfahren?

Die Entwicklung hochwertiger KI-Outputs für den öffentlichen Sektor hört hier nicht auf. Wir bei Aleph Alpha sind überzeugt, dass echte digitale Souveränität und präzise Ergebnisse direkt beim Fundament beginnen: den Modellen selbst. Erfahren Sie, wie wir die Modellentwicklung revolutionieren, um den höchsten Ansprüchen an Governance und Qualität gerecht zu werden:

→ Lesen Sie hier unseren aktuellen Deep Dive zu „Model Training as Code" (Englisch)