ScarfBench zeigt Grenzen von KI-Agenten bei Java-Migrationen
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
KI-Coding-Agenten lösen inzwischen viele Programmier- und Fehlerbehebungsaufgaben. Die Modernisierung gewachsener Unternehmensanwendungen stellt jedoch andere Anforderungen: Neben Quellcode müssen Build-System, Konfiguration, Laufzeitabhängigkeiten und beobachtbares Verhalten erhalten bleiben. IBM Research stellt mit ScarfBench einen offenen Benchmark vor, der Agenten bei Migrationen zwischen Spring, Jakarta EE und Quarkus unter realistischen Bedingungen prüft.
Migration wird am laufenden System gemessen
Anders als Benchmarks, die generierten Code mit einer Referenzlösung vergleichen, verlangt ScarfBench drei konkrete Ergebnisse: Die Anwendung muss erfolgreich bauen, korrekt bereitgestellt werden und Verhaltenstests bestehen. Der Datensatz umfasst 34 Anwendungen, 102 Framework-Implementierungen und 204 Migrationsaufgaben mit rund 151.000 Codezeilen. Für die Prüfung stehen 1.331 von Fachleuten erstellte Tests bereit. Enthalten sind sowohl begrenzte Teilaufgaben als auch komplette Anwendungsmigrationen.
Der Aufbau macht sichtbar, dass ein Austausch von Annotationen nicht genügt. Abhängigkeitsinjektion, Persistenz, Abfragen, Deskriptoren und Framework-Konfiguration greifen ineinander. Schon eine kleine semantische Abweichung kann dazu führen, dass Software zwar kompiliert, aber nicht startet oder falsches Verhalten zeigt.
Weniger als zehn Prozent bestehen den Verhaltenstest
Nach Angaben der Autoren erreichen selbst starke aktuelle Agenten bei der behavioralen Erfolgsquote weniger als zehn Prozent. Kompilieren gelingt häufiger als Deployment, und Deployment häufiger als das Bestehen der Tests. Besonders Migrationen mit Jakarta EE als Ziel erwiesen sich als schwierig. Damit überschätzt eine reine Build-Metrik die tatsächliche Qualität deutlich.
Auch die Selbsteinschätzung der Agenten ist unzuverlässig: In einem Versuch meldete Claude Code 29 von 30 vollständigen Anwendungen als erfolgreich gebaut, tatsächlich traf dies nur auf 22 zu. Umgekehrt baute gerade die als fehlgeschlagen eingestufte Anwendung korrekt. Unabhängige Validierung bleibt daher unverzichtbar.
Konfiguration und Umgebung bleiben harte Arbeit
Agenten springen bei Migrationen wiederholt zwischen Konfiguration, Web-, Datenbank- und Service-Schichten. Das spricht für einen iterativen Abhängigkeitsprozess statt einer linearen Übersetzung. Zusätzlich verursachen Docker-Caches, Ports und Maven-Werkzeuge Probleme, die nicht unmittelbar aus dem Code stammen.
Für Unternehmen liefert ScarfBench eine hilfreiche Einordnung: Agenten können Teilaufgaben beschleunigen, sind aber noch kein autonomer Ersatz für Architekturverständnis, reproduzierbare Umgebungen und End-to-End-Tests. Der offene Benchmark schafft eine gemeinsame Messlatte, an der sich künftige Werkzeuge belastbarer vergleichen lassen.
Originalquelle: Hugging Face Blog – ScarfBench: Benchmarking AI Agents for Enterprise Java Framework Migration
