DeepSeek V4 macht Million-Token-Kontexte für KI-Agenten praktikabler
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
DeepSeek V4 bietet zwar ein Kontextfenster von einer Million Token, doch die wichtigere Neuerung liegt in dessen effizienter Nutzung. Für lang laufende KI-Agenten genügt eine hohe nominelle Grenze nicht: Mit jedem Werkzeugresultat wächst der Verlauf, während Rechenaufwand und KV-Cache jede weitere Ausgabe verteuern. V4 adressiert genau diesen Engpass.
Zwei Arten komprimierter Aufmerksamkeit
Die Architektur wechselt zwischen Compressed Sparse Attention und Heavily Compressed Attention. CSA fasst jeweils vier Token zu einem KV-Eintrag zusammen und wählt pro Anfrage relevante Blöcke aus; ein lokales Fenster bewahrt aktuelle Details. HCA komprimiert um den Faktor 128 und kann deshalb dicht über den verkürzten Verlauf rechnen. Zusätzlich werden KV-Einträge überwiegend in FP8 und der CSA-Indexer in FP4 gespeichert.
Nach den veröffentlichten Angaben benötigt V4-Pro bei einer Million Token nur 27 Prozent der Single-Token-Rechenoperationen von DeepSeek V3.2 und zehn Prozent dessen KV-Cache. V4-Flash fällt auf zehn beziehungsweise sieben Prozent. Gegenüber einer üblichen Grouped-Query-Attention-Architektur soll der Cache ungefähr zwei Prozent betragen. Damit wird ein sehr großer Kontext nicht kostenlos, aber deutlich realistischer für produktive Inferenz.
Agenten behalten Zustand über Werkzeugrunden
V4 bewahrt bei Unterhaltungen mit Werkzeugaufrufen den Denk- und Arbeitsverlauf auch über neue Nutzernachrichten hinweg. Ohne Werkzeuge wird dieser weiterhin pro Runde verworfen, um den Kontext knapp zu halten. Ein spezielles DSML-Token und ein XML-basiertes Format sollen zudem typische Escape- und Typfehler verschachtelter JSON-Werkzeugaufrufe reduzieren.
Das Training nutzt DSec, eine Rust-Plattform für Funktionsaufrufe, Container, Firecracker-MicroVMs und QEMU-VMs. Schnelles Laden von Images, wiederaufnehmbare Trajektorien und eine gemeinsame Python-Schnittstelle ermöglichen sehr viele parallele Reinforcement-Learning-Durchläufe in echten Werkzeugumgebungen.
Starke Agentenwerte, offene Praxisfragen
V4-Pro-Max erzielt laut Bericht 80,6 auf SWE Verified, 73,6 auf MCPAtlas Public und 67,9 auf Terminal Bench 2.0. Bei der Long-Context-Suche bleibt die Acht-Nadel-Genauigkeit bis 256.000 Token über 0,82 und erreicht bei einer Million Token noch 0,59. Auf klassischen Wissensbenchmarks ist das Modell hingegen nicht durchgehend führend.
Auf dem Hub stehen Pro- und Flash-Varianten als Instruct- und Basismodelle bereit. Für Betreiber bleibt der Hardwarebedarf trotz sparsamer Attention erheblich. Spannend wird daher, wie gut bestehende Agenten-Frameworks das neue Werkzeugschema integrieren und ob die Vorteile außerhalb der Trainingsumgebungen stabil bleiben.
Originalquelle: Hugging Face Blog – DeepSeek-V4: a million-token context that agents can actually use
