Agenten-Gedächtnis braucht die richtige Dosis
Mehr Gedächtnis macht einen KI-Agenten nicht automatisch besser. Eine Untersuchung von IBM Research mit ALTK-Evolve zeigt vielmehr, dass Umfang und Bereitstellung selbst gewonnener Erfahrungen zur Leistungsfähigkeit des Modells passen müssen. Das System destilliert aus erfolgreichen und gescheiterten Arbeitsabläufen wiederverwendbare Regeln, ohne Modellgewichte zu verändern oder menschliche Annotationen zu benötigen.
Drei Muster über acht Modelle
Starke Modelle mit noch vorhandenem Leistungsspielraum profitierten am meisten vom vollständigen Regelbestand. DeepSeek-V3.2 steigerte die Task Goal Completion im AppWorld-Benchmark um 9,5 Prozentpunkte; bei der strengeren Scenario Goal Completion lag das Plus bei 16,1 Punkten. Schwächere Modelle wurden dagegen von zu vielen Hinweisen eher überfordert. Für sie funktionierte ein kompakter Kern plus aufgabenspezifische Auswahl besser.
Beim Modell gpt-oss-120b brachte diese kuratierte Abfrage 16,1 Prozentpunkte mehr vollständig gelöste Aufgaben und erhöhte den Tokenverbrauch nur um fünf Prozent. Der vollständige Regelsatz kostete dagegen etwa 51 Prozent mehr Tokens und half weniger. Eine dritte Gruppe war bereits gesättigt: GLM-5 zeigte in diesem Versuchsaufbau keinen messbaren Gewinn. Parameterzahl allein erklärt diese Unterschiede nicht; Kontextfenster, Aufgabenverteilung, Regelqualität und verbleibender Spielraum spielen ebenfalls mit.
Lernen außerhalb des Modells
Das hier gemeinte Gedächtnis ist kein Archiv alter Chats. ALTK-Evolve extrahiert Strategien, Fehlerwarnungen und Sonderfälle aus früheren Trajektorien, konsolidiert sie und fügt sie später vollständig oder selektiv in den Kontext ein. Die Studie nutzte 585 mehrstufige Aufgaben aus neun simulierten Anwendungen. Testdaten flossen nicht in die Erstellung der Regeln ein.
Kosten und Betrieb richtig planen
Ein kompletter Regelbestand kann den Input stark aufblähen: Bei DeepSeek-V3.2 stieg der Tokenverbrauch pro Aufgabe um 78 Prozent. Da der statische Teil in jedem ReAct-Schritt gleich bleibt, kann Prompt Caching die effektiven Kosten jedoch deutlich senken. Die Zahl der Denk- und Werkzeugschritte erhöhte sich im Versuch kaum; teuer war vor allem der wiederholte Kontext.
Für Agenten-Plattformen folgt daraus ein praktischer Ansatz: Memory-Strategien sollten wie ein eigener Systemparameter evaluiert werden. Kleine Modelle brauchen eine präzise Auswahl, leistungsfähige Modelle können seltene Regeln umfassender verwerten, und bei gesättigten Systemen lohnt zusätzlicher Kontext zunächst nicht. Die Ergebnisse gelten bislang für AppWorld; weitere Benchmarks müssen zeigen, wie gut sie sich auf reale Abläufe übertragen lassen.
Originalquelle: Hugging Face Blog – How Much Memory Does Your Agent Actually Need?



