Schnellere lokale KI-Agenten mit Qwen3 und OpenVINO
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Lokale KI-Agenten erzeugen oft deutlich mehr Tokens als klassische Chatbots, weil sie planen, Zwischenschritte formulieren und Werkzeuge aufrufen. Intel und Hugging Face zeigen deshalb, wie sich Qwen3-8B auf einem Core-Ultra-System beschleunigen lässt. Das Modell bringt Fähigkeiten für Tool-Aufrufe, mehrstufiges Schlussfolgern und lange Kontexte mit. Als Laufzeit dient OpenVINO.GenAI, getestet wurde eine 4-Bit-Version des Zielmodells auf der integrierten Intel-Arc-GPU eines Lunar-Lake-Prozessors.
Speculative Decoding mit kleinem Entwurfsmodell
Beim Speculative Decoding schlägt ein kleineres, schnelleres Modell mehrere Tokens vor. Das größere Zielmodell prüft diese Vorschläge anschließend gebündelt, anstatt jedes Token vollständig einzeln zu berechnen. In der Ausgangskonfiguration arbeitete Qwen3-8B als Zielmodell mit Qwen3-0.6B in 8-Bit als Draft zusammen. Nach Angaben der Autoren stieg die Generierungsgeschwindigkeit dadurch im Mittel um etwa den Faktor 1,3 gegenüber der Basislinie.
Weniger Schichten für einen schnelleren Draft
Da die Draft-Latenz den möglichen Gewinn begrenzt, entfernte das Team sechs von 28 Schichten aus Qwen3-0.6B. Ausgewählt wurden zusammenhängende Layer-Blöcke mit geringem Beitrag, gemessen über ihre Winkeldistanz. Danach wurde das verkleinerte Modell mit synthetischen Antworten von Qwen3-8B auf 500.000 Prompts aus Infinity-Instruct nachtrainiert. Der tiefengekürzte Draft erhöhte den gemeldeten Geschwindigkeitsfaktor auf rund 1,4. Das Modell und ein reproduzierbares Notebook wurden bereitgestellt.
Praktischer Einsatz auf dem AI-PC
In einer Demo verbanden die Entwickler die optimierte Kombination mit smolagents. Der lokale Agent suchte Informationen im Web und erzeugte anschließend per Python eine Präsentation. Derselbe Ansatz soll auch mit AutoGen oder QwenAgent nutzbar sein. Für Unternehmen und Entwickler ist das relevant, weil kürzere Antwortzeiten lokale Agenten alltagstauglicher machen und Daten häufiger auf dem Gerät bleiben können. Die Werte stammen allerdings aus einer konkreten internen Testkonfiguration mit OpenVINO 2025.2, Core Ultra 7 268V, Arc 140V und 32 GB RAM; Ergebnisse können auf anderer Hardware und bei anderen Aufgaben abweichen.
Originalquelle: Hugging Face Blog – Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models
