LFM2.5-2.6B bringt leistungsfähige KI-Agenten direkt auf lokale Geräte
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Liquid AI positioniert LFM2.5-2.6B als kompaktes Modell für Agenten, die vollständig auf lokalen Geräten arbeiten. Mit 2,6 Milliarden Parametern soll es Tool-Aufrufe und mehrstufige Abläufe auf Laptops, Smartphones und Edge-Systemen ermöglichen. Der praktische Reiz liegt in geringerer Cloud-Abhängigkeit: Daten können auf dem Gerät bleiben, laufende Inferenzkosten sinken und Anwendungen funktionieren auch bei eingeschränkter Verbindung.
Training gezielt für agentische Abläufe
Das Basismodell wurde laut Hersteller auf ungefähr 34 Billionen Token vortrainiert und in einer Zwischenphase auf ein Kontextfenster von 128K erweitert. Das Post-Training kombiniert zwei Runden überwachten Feinabgleichs mit spezialisierten Lehrermodellen für Bereiche wie Mathematik, Code und Werkzeugnutzung. Danach werden diese Fähigkeiten per Multi-Domain On-Policy Distillation in einem Modell zusammengeführt.
Den letzten Schritt bildet Agentic Reinforcement Learning in realen Agenten-Harnesses. Dabei sind Modelloptimierung, Inferenz und Ausführung der Umgebung getrennt. Ein Sandbox-Dienst führt Aktionen aus, während ein Proxy Token-Trajektorien erfasst, ohne das jeweilige Harness verändern zu müssen. So soll das Modell lernen, mit unterschiedlichen Werkzeugen, System-Prompts und mehrstufigen Aufgaben umzugehen – ein wichtiger Unterschied zu reinem Chat-Training.
Stärken bei Werkzeugen und Instruktionen
In den veröffentlichten Vergleichen tritt LFM2.5-2.6B gegen Modelle mit bis zu etwa vierfacher Größe an. Besonders stark schneidet es laut Liquid AI bei Instruktionsbefolgung und Werkzeugnutzung ab; bei agentischen Benchmarks liegt es teils auf Augenhöhe mit größeren Qwen-Modellen. Beim Programmieren behalten größere Modelle einen deutlicheren Vorsprung. Solche Herstellerbenchmarks sollten dennoch anhand des eigenen Workloads überprüft werden, insbesondere bei langen Abläufen, seltenen Tool-Fehlern und deutschsprachigen Aufgaben.
Schnelle lokale Inferenz mit breiter Unterstützung
Liquid AI nennt 220 Token pro Sekunde auf einem Apple M5 Max und 113 Token pro Sekunde auf einem AMD Ryzen AI Max+ 395 bei weniger als 2,5 GB Speicherbedarf. Auf einer H100 seien bei hoher Parallelität fast 15.000 Ausgabetoken pro Sekunde möglich. Unterstützt werden unter anderem llama.cpp, MLX, vLLM, SGLang und ONNX; zudem existiert eine WebGPU-Demo im Browser. Für Entwickler ist das Modell damit vor allem interessant, wenn Datenschutz, Offline-Fähigkeit und hohe Anfragezahlen wichtiger sind als maximale Coding-Leistung.
Originalquelle: Hugging Face Blog – Deploy local agents everywhere with LFM2.5-2.6B
