KI-Agenten zuverlässiger machen: Warum Wiederholbarkeit zählt
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Ein KI-Agent kann eine Aufgabe einmal korrekt lösen und beim identischen nächsten Durchlauf trotzdem scheitern. IBM Research beschreibt dieses Zuverlässigkeitsproblem anhand von AppWorld: Ein ReAct-Agent mit GPT-4.1 erreichte über fünf Wiederholungen eine durchschnittliche Erfolgsquote von 77,4 Prozent. Bei nur 53 Prozent der Aufgaben gelangen jedoch alle fünf Durchläufe. Die Differenz von 24,4 Prozentpunkten nennen die Autoren Konsistenzlücke.
Durchschnittswerte reichen nicht
Übliche Kennzahlen messen den mittleren Erfolg über mehrere Läufe, im Beitrag Mean@k genannt. Für produktive Automatisierungen ist aber auch Pass^k relevant: Der Anteil der Aufgaben, die bei jeder Wiederholung funktionieren. Das ist etwas anderes als Pass@k, bei dem ein einziger erfolgreicher Versuch genügt. Gerade bei Finanz-, Vertrags- oder anderen kritischen Workflows kann ein guter Mittelwert deshalb ein falsches Sicherheitsgefühl erzeugen.
Als Ursache nennt der Beitrag instabile Entscheidungspunkte in einer Agenten-Trajektorie. Wenn mehrere nächste Schritte nahezu gleich wahrscheinlich sind, können kleine Plattform- oder Recheneffekte die Auswahl kippen. Über viele Schritte addiert sich dieses Risiko. Das gilt laut Untersuchung selbst bei Temperatur null; ein fixer Seed oder gieriges Decoding löst das Problem nicht zwingend.
Analyse aus einer vorhandenen Spur
Der vorgeschlagene Consistency Analyzer untersucht eine aufgezeichnete Agentenspur schrittweise. Für jede Entscheidung werden mehrere Vervollständigungen aus demselben Kontext abgefragt, standardmäßig fünf. Dafür sind weder Logits noch ein erneuter End-to-End-Lauf in der Umgebung nötig. Aus auffälligen Stellen erzeugt ALTK-Evolve anschließend konkrete, wiederverwendbare Handlungsrichtlinien.
In der beschriebenen Evaluation stieg Pass^5 von 53 auf 69 Prozent, während Mean@5 von 77,4 auf 81 Prozent zunahm. Das sind Ergebnisse eines bestimmten Benchmarks, keine allgemeine Garantie. Der praktische Impuls ist dennoch klar: Wer Agenten ausliefert, sollte Wiederholbarkeit neben der Erfolgsquote messen, unsichere Entscheidungen gezielt prüfen und Hinweise aus realen Ausführungen als Teil der Qualitätssicherung nutzen.
Originalquelle: Hugging Face Blog – Your Agent Aced the Task. Will It Do It Again?
