Agenten lernen sparsamer: ALTK-Evolve senkt den Tokenverbrauch
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
KI-Agenten scheitern bei längeren Aufgaben oft nicht am fehlenden Fachwissen, sondern an wiederkehrenden Prozessfehlern: falsche API-Paginierung, eine verwechslungsanfällige Zuordnung oder ein unpassendes Rückgabeformat. Systeme wie ACE und ALTK-Evolve versuchen deshalb, aus früheren Agentenläufen konkrete Lektionen abzuleiten und bei späteren Aufgaben wiederzuverwenden. Dafür sind weder neue Modellgewichte noch menschliche Labels erforderlich.
Lektionen bewahren statt wegzusammenfassen
Beide Ansätze vermeiden eine starke Kompression der Erfahrungen. ACE pflegt ein umfangreiches Playbook mit Bewertungen für hilfreiche und schädliche Regeln. ALTK-Evolve speichert einzelne Richtlinien mitsamt Support-Zähler, Typ und Herkunft. Ähnliche Lektionen werden gebündelt, ohne die Zahl der stützenden Erfahrungen zu verlieren. Die Regeln können Strategie, Fehlerbehebung oder Optimierung betreffen und auf Teilaufgaben zurückgeführt werden, sodass Erkenntnisse potenziell zwischen verschiedenen Apps übertragbar bleiben.
Der entscheidende Unterschied liegt in der Bereitstellung. ACE fügt bei jedem Schritt das gesamte Playbook in den Kontext ein. ALTK-Evolve behandelt die Menge dagegen als Stellschraube: Ein kleiner Kern häufig bestätigter Regeln wird je nach Aufgabe um ausgewählte Hinweise ergänzt. Die Auswahl kann über Ähnlichkeit oder ein LLM erfolgen und wird nach Priorität gewichtet. Leistungsfähigere Modelle können auch den vollständigen konsolidierten Bestand erhalten, während schwächere Modelle von einer kleineren, gezielten Auswahl profitieren sollen.
Deutlich weniger Tokens im AppWorld-Test
IBM Research vergleicht beide Systeme auf 168 Aufgaben des AppWorld-Benchmarks mit demselben grundlegenden ReAct-Agenten. Mit DeepSeek-V3.2 erreichte ALTK-Evolve eine Task Goal Completion von 89,3 Prozent bei 263.000 Tokens pro Aufgabe; ACE kam auf 80,4 Prozent bei 634.000 Tokens. Beim Modell gpt-oss-120b lagen die Resultate mit 56,0 zu 54,8 Prozent nahe beieinander, während ALTK-Evolve 116.000 statt 777.000 Tokens benötigte. Die Autoren weisen selbst auf Schwankungen zwischen einzelnen Läufen hin.
Einordnung: Retrieval wird zur Kostenfrage
Die Ergebnisse sprechen dafür, Agentengedächtnis nicht nur nach der Qualität gespeicherter Regeln, sondern auch nach den Serving-Kosten zu beurteilen. Zu viel Kontext kann teuer sein und kleinere Modelle sogar ablenken. Gleichzeitig stammen die ACE-Zahlen aus eigenen Vergleichsläufen des ALTK-Evolve-Teams; unabhängige Reproduktionen und Tests außerhalb von AppWorld bleiben daher wichtig. Praktisch interessant ist der Ansatz besonders für häufig ausgeführte, mehrstufige Workflows, bei denen selektives Retrieval die Tokenrechnung senken kann, ohne die gelernten Erfahrungen dauerhaft zu verwerfen.
Originalquelle: Hugging Face Blog – Thinking of ACE? We Can Do It with Fewer Tokens
