LFM2.5: Lokale KI-Agenten mit weniger aktivem Rechenaufwand
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Ein MoE-Modell für dauerhaft laufende Agenten
Liquid AI stellt mit LFM2.5-24B-A2B ein Open-Weight-Modell vor, das auf lokale, werkzeugnutzende KI-Agenten zugeschnitten ist. Es besitzt zwar 24 Milliarden Parameter, aktiviert pro Token aber nur rund zwei Milliarden. Dieses Mixture-of-Experts-Prinzip soll Rechenaufwand und Speicherbedarf senken, ohne auf mehrstufiges Schlussfolgern zu verzichten.
Gegenüber dem Vorgänger wächst das Kontextfenster von 32.000 auf 131.000 Token. Auch das Vokabular wurde laut Beitrag von 65.000 auf 128.000 Token erweitert, um nicht-lateinische Sprachen besser abzubilden. Das Modell ist auf Reasoning ausgelegt und erzeugt vor der Antwort eine explizite Gedankenkette.
Training und Ergebnisse im Kontext
Die Entwickler beschreiben ein Training mit rund 33 Billionen Vortrainings-Token sowie zusätzlichen Phasen für lange Kontexte, Werkzeugaufrufe und mehrturnige Abläufe. Danach folgten Supervised Fine-Tuning, Distillation und agentisches Reinforcement Learning in verschiedenen Agenten-Umgebungen.
In 16 Benchmarks sieht Liquid AI Stärken vor allem bei Tool-Use, Automatisierung und Befolgung von Anweisungen. Bei wissensintensiven oder reinen Coding-Aufgaben seien größere Vergleichsmodelle teils weiter vorn. Die Zahlen stammen vom Anbieter und sind daher als Hersteller-Benchmark einzuordnen.
Lokaler Betrieb wird praktischer
Für die Inferenz nennt der Beitrag Unterstützung von llama.cpp, MLX, vLLM, SGLang und ONNX. Angegeben werden 184 Token pro Sekunde auf einem Apple M5 Max sowie hohe Durchsätze auf einer NVIDIA B300. Für Teams kann das interessant sein, wenn Agenten mit privaten Daten arbeiten oder kontinuierlich lokal laufen sollen. Vor dem Produktiveinsatz bleiben jedoch eigene Last-, Qualitäts- und Sicherheitsprüfungen unverzichtbar.
Worauf Leser jetzt achten sollten
Die Ankuendigung zeigt vor allem eine Richtung, keine pauschale Kauf- oder Architekturentscheidung. Messwerte aus Laborumgebungen lassen sich nicht unmittelbar auf jede Anwendung uebertragen. Entscheidend sind neben der Leistung auch Lizenzbedingungen, Reifegrad der eingesetzten Software, Betriebsaufwand und die Qualitaet der Ergebnisse im jeweiligen Fachkontext.
Fuer die Praxis empfiehlt sich ein abgegrenzter Test mit realistischen Eingaben und klaren Erfolgskriterien. Dabei sollten Latenz, Ressourcenverbrauch, Fehlerraten und Sicherheitsanforderungen dokumentiert werden. Erst der Vergleich mit dem bisherigen Ablauf macht sichtbar, ob der technische Vorteil auch fuer die eigene Organisation relevant ist.
Auch die Integration in bestehende Prozesse verdient Aufmerksamkeit. Verantwortliche sollten pruefen, welche Schnittstellen, Monitoring-Werkzeuge und Kompetenzen benoetigt werden. Bei personenbezogenen oder vertraulichen Daten kommen Datenschutz, Zugriffsrechte und Aufbewahrungsfristen hinzu. Eine schrittweise Einfuehrung mit begrenztem Nutzerkreis hilft dabei, Risiken frueh zu erkennen und den Nutzen nachvollziehbar zu bewerten.
Originalquelle: Hugging Face Blog – Run fast, private agents on-device with LFM2.5-24B-A2B
