KI-Modell-Routing ist ein Systemproblem – nicht nur eine Klassifikation
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Ein Router für KI-Agenten klingt zunächst simpel: leichte Aufgaben gehen an günstige Modelle, komplexe Anfragen an leistungsfähigere Systeme. IBM Research warnt jedoch davor, die Auswahl nur als Klassifikationsaufgabe zu behandeln. In realen Agenten-Workloads hängen Kosten, Qualität und Latenz nicht allein vom Modellnamen ab, sondern ebenso von Cache, Infrastruktur, Werkzeugnutzung und Vorgaben zur Datenverarbeitung.
Listenpreise erzählen nur einen Teil der Kosten
In einem Test mit 417 Aufgaben der AppWorld Test Challenge kostete Claude Sonnet 4.6 insgesamt 79 US-Dollar beziehungsweise 0,19 Dollar pro Aufgabe. GPT-4.1 kam trotz niedrigerer nomineller Tokenpreise auf 155 Dollar oder 0,37 Dollar pro Aufgabe. Der entscheidende Faktor war Prompt-Caching: Agenten verwenden über mehrere Schritte grosse Kontextteile wieder, und günstigere Cache-Lesezugriffe können höhere Listenpreise überkompensieren.
Damit reicht es nicht, Preislisten in eine Routing-Tabelle zu übertragen. Die effektiven Ausgaben entstehen aus dem Zusammenspiel von Modell, Arbeitslast und Serving-Plattform. Wer Routing produktiv betreibt, benötigt deshalb Telemetrie zu realen Tokenverläufen, Cache-Treffern und vollständigen Agenten-Trajektorien.
Komplexität wird oft erst während der Ausführung sichtbar
Eine scheinbar einfache Vertragszusammenfassung kann Retrieval, Compliance-Prüfungen, Werkzeuge und mehrere Überarbeitungsrunden auslösen. Umgekehrt kann ein kleineres Spezialmodell einen technisch klingenden Auftrag effizient lösen. Hinzu kommen Datenschutz, Datenresidenz, freigegebene Modelllisten und Zuverlässigkeitsziele. Die Schwierigkeit des Prompts ist daher nur eines von mehreren Signalen.
Auch die wahrgenommene Geschwindigkeit hängt nicht bloss von der Modellgrösse ab. Hardware, Auslastung, warmer Cache und Routing-Overhead prägen die Ende-zu-Ende-Latenz. Eine Entscheidung pro Aufgabe ist günstig, während erneutes Routing bei jedem Agentenschritt flexibler, aber operativ aufwendiger ist.
Optimierung statt Suche nach dem besten Modell
Der vorgestellte Ansatz sucht Betriebspunkte auf einer Kosten-Genauigkeits-Latenz-Grenze. Eine latenzoptimierte Konfiguration erreichte 84 Prozent Genauigkeit bei 93 Dollar und 83 Sekunden: gegenüber ausschliesslichem Opus-Einsatz 21 Prozent weniger Kosten und neun Prozent weniger Latenz bei vier Prozentpunkten Genauigkeitsverlust. Die Optimierung selbst benötigt laut Beitrag nur etwa sechs Millisekunden und zwei Kilobyte Speicher pro Aufgabe.
Für DailyTechSnack-Leser lautet die praktische Konsequenz: Ein guter Router optimiert das Gesamtsystem, nicht isoliert das Modell. Benchmarks sollten daher Cache-Regeln, Endpunktzustand, Governance und typische Workflows einschliessen.
Originalquelle: Hugging Face Blog – Model Routing Is Simple. Until It Isn’t.
