Lange Prompts bremsen LLMs: Wege zu stabilerer Inferenz
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Lange Eingaben können den Betrieb großer Sprachmodelle deutlich ausbremsen. Ein Praxisbericht von TNG zeigt, warum dies bei gemeinsam genutzten GPU-Servern nicht nur die Anfrage mit viel Kontext betrifft: Sie kann auch die Antwort anderer Nutzer verzögern. Für Teams, die LLMs selbst hosten, ist das eine wichtige Erinnerung, dass Promptlänge und Scheduling direkt auf die gefühlte Qualität eines Dienstes wirken.
Prefill und Decode konkurrieren um die GPU
Beim Start einer Anfrage verarbeitet das Modell zunächst den gesamten Prompt. Diese Phase heißt Prefill und kann die GPU stark auslasten. Anschließend entsteht die Antwort Token für Token in der Decode-Phase. Diese Schritte sind weniger rechenintensiv, müssen aber sequenziell ablaufen. Treffen neue, lange Prompts ein, während andere Antworten bereits generiert werden, konkurrieren beide Phasen um dieselben Ressourcen.
In der üblichen Chunked-Prefill-Strategie von vLLM wird der Prefill verschiedener Anfragen bei parallelen Decodes standardmäßig nacheinander geplant. Ein einziger sehr langer Prompt kann daher die Warteschlange blockieren, bevor später eingetroffene kurze Anfragen überhaupt ihr erstes Token erhalten. Priorisierung hilft nur begrenzt: Existiert die spätere Anfrage beim Einplanen des langen Prompts noch nicht, kann ein Scheduler sie nicht bevorzugen.
Kurze Anfragen auf die Überholspur
Neuere vLLM-Mechanismen erlauben parallele Prefills mehrerer Anfragen, zugleich aber mit einer Obergrenze für lange Prompts. Als Beispiel nennt der Beitrag eine Konfiguration mit bis zu vier Prefills, von denen nur einer mehr als 10.000 Prompt-Tokens enthalten darf. So können kurze Eingaben schneller beginnen, statt hinter einem großen Kontext zu warten. Die Time to First Token sinkt für diese Fälle deutlich.
Das beseitigt allerdings nicht das Grundproblem. Wenn Prefill und Decode im selben GPU-Vorgang landen, verlangsamt ein aufwendiger neuer Prompt weiterhin die Token-Ausgabe bereits laufender Antworten. Die Gesamtdauer verbessert sich nur gering. Für interaktive Anwendungen kann das als sichtbares Stocken erscheinen, obwohl das System insgesamt viele Anfragen abarbeitet.
Getrennte Rollen statt geteiltem Engpass
Als weitergehende Lösung beschreibt TNG ein disaggregiertes Prefill: Separate Worker übernehmen entweder die Prompt-Verarbeitung oder die Decodierung, anschließend wird der KV-Cache übertragen. Damit stören lange Prefills die Ausgabe laufender Antworten nicht unmittelbar. Der Preis ist erheblich: Für große Modelle sind zusätzliche GPU-Deployments nötig, außerdem entstehen Übertragungsaufwand und komplexeres Routing.
Für den Alltag folgt daraus eine klare Betriebsregel. Wer niedrige Latenz zusagt, sollte Promptlängen messen, Lastprofile getrennt auswerten und kurze Echtzeit-Anfragen nicht blind mit großen Kontextjobs mischen. Eine separate Route oder ein eigener Pool für lange Kontexte kann mehr bewirken als reine Modelloptimierung. Die Technik ist laut Beitrag noch experimentell, zeigt aber den Weg zu besserem Goodput: Entscheidend ist nicht nur Durchsatz, sondern wie viele Anfragen ihre Latenzziele wirklich erreichen.
Originalquelle: Hugging Face Blog – How Long Prompts Block Other Requests – Optimizing LLM Performance
