Liquid AI öffnet schnelle Entscheidungsmodelle für Edge-Geräte
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Liquid AI veröffentlicht mit d1-3B und dem experimentellen d1-omni-600M zwei offene Entscheidungsmodelle für die lokale Ausführung. Anders als klassische generative Sprachmodelle sollen sie keine Tokenfolge erzeugen, sondern eine Frage in einem einzelnen Vorwärtsdurchlauf beantworten. Das zielt auf Anwendungen, in denen Reaktionszeit, Energiebedarf und Datenschutz wichtiger sind als frei formulierte Texte.
Text, Bild und Audio am Rand des Netzes
d1-3B verarbeitet Text und Bilder; d1-omni-600M kann Text mit Bild oder Audio kombinieren. Die Modelle basieren laut Hersteller auf unterschiedlichen Liquid-Foundation-Modellen: Das 3B-Modell nutzt ein Decoder-only-Vision-Language-Modell, die kleinere Omni-Variante einen bidirektionalen Encoder mit zusätzlichen Vision- und Audio-Encodern. Letztere ist ausdrücklich als frühe Forschungsfreigabe eingeordnet.
Leistung ohne Token-Generierung
In sieben öffentlichen Datensätzen aus Bereichen wie Leseverständnis, Toxizität, Intent-Erkennung, medizinischen Fragen und mehrsprachigem Verständnis erreicht d1-3B im Mittel 82,9 Punkte; d1-omni-600M kommt auf 78,4. Die Werte stammen vom Anbieter und sollten daher gegen eigene Aufgaben geprüft werden. Für die Geschwindigkeit nennt Liquid AI beim d1-3B Antworten in 16 Millisekunden auf einem Jetson AGX Thor, 26 Millisekunden auf einem Jetson AGX Orin und 50 Millisekunden auf einem Jetson Orin Nano.
Praktischer Kontext für Edge-Projekte
Solche Entscheidungsmodelle eignen sich etwa für Klassifikation, Routing, Sicherheitsprüfungen oder die Auswahl einer Aktion auf Geräten ohne dauerhafte Cloud-Verbindung. Ein einzelner Forward Pass kann die Laufzeit gegenüber einer längeren Textgenerierung reduzieren. Gleichzeitig ersetzen die Modelle kein dialogfähiges LLM: Wer Begründungen oder ausführliche Sprache benötigt, braucht eine zusätzliche Komponente.
Für Teams ergibt sich ein interessanter Baukasten: Ein kleines lokales Modell trifft die schnelle Vorauswahl, während komplexe Fälle an ein größeres System gehen. Vor dem Einsatz bleiben Messungen auf echten Daten, Tests der Modalitäten und eine Prüfung möglicher Fehlentscheidungen unverzichtbar.
Originalquelle: Hugging Face Blog – Multimodal open d1 decision models for the edge
