Roboter-KI am Edge: So bringt NXP VLA-Modelle auf Embedded-Hardware
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Robotik am Edge ist mehr als Modellkompression
Vision-Language-Action-Modelle verbinden Kamerabilder und Sprachvorgaben mit konkreten Roboterbefehlen. Auf Embedded-Plattformen treffen sie jedoch auf enge Grenzen bei Rechenleistung, Speicher, Energie und Reaktionszeit. NXP beschreibt deshalb eine durchgängige Methode von der Datenerfassung bis zur optimierten Ausführung auf dem i.MX 95. Als Testaufgabe sollte ein Roboterarm einen Teebeutel greifen und in eine Tasse legen.
Die wichtigste Grundlage sind konsistente Daten. Kameras müssen fest montiert, Licht und Kontrast kontrolliert sowie Kalibrierungen gesichert werden. Besonders hilfreich war eine Kamera direkt am Greifer, ergänzt durch Drauf- und Seitenansicht. Die Bedienperson durfte sich nur auf jene Bilder stützen, die dem Modell später ebenfalls zur Verfügung stehen. Für Vielfalt teilte das Team den Arbeitsraum in Positionscluster, variierte Lage und Rotation und nahm bewusst rund 20 Prozent Recovery-Episoden auf, in denen der Roboter nach einem Fehlversuch neu ansetzt.
Training mit ACT und SmolVLA
Der Datensatz umfasste 120 Episoden mit drei Kameras bei 640 mal 480 Pixeln und 30 Bildern pro Sekunde. Ein kompletter Positionscluster blieb als ungesehene Validierung zurück. Verglichen wurden ACT mit 100 Aktionen pro Chunk und SmolVLA mit 50. NXP empfiehlt, Checkpoints nicht allein nach Trainingsverlust auszuwählen, sondern die Erfolgsquote auf Trainings- und Validierungsfällen gemeinsam zu bewerten. Bei ACT lag ein brauchbarer Kompromiss zwischen Genauigkeit, Generalisierung und ruhiger Bewegung zwischen 100.000 und 160.000 Schritten.
Für die Hardware wurde SmolVLA in Vision-Encoder, LLM-Backbone und Action-Expert zerlegt. Das erlaubt getrennte Optimierung und Zeitplanung. Vision und LLM-Prefill vertrugen Quantisierung vergleichsweise gut; beim iterativen Denoising des Action-Experts summierten sich Quantisierungsfehler hingegen, weshalb dieser Teil mit höherer Präzision lief.
Asynchrone Steuerung gegen Stillstand
Bei synchroner Inferenz wartet der Arm auf den nächsten Aktionsblock. Das erzeugt Pausen, veraltete Beobachtungen und pendelnde Korrekturen. Asynchrone Inferenz berechnet daher bereits den nächsten Chunk, während der aktuelle ausgeführt wird. Entscheidend bleibt, dass die Berechnung kürzer als der Aktionshorizont dauert.
Im Versuch benötigte ACT in ONNX FP32 auf dem i.MX 95 2,86 Sekunden und erreichte global 96 Prozent Erfolg. Die optimierte Fassung sank auf 0,32 Sekunden, bei 89 Prozent globaler Genauigkeit. SmolVLA blieb mit 29,1 Sekunden und 47 Prozent deutlich zurück; eine optimierte Latenz von 6,15 Sekunden dient als nächste Basis. Die Zahlen zeigen den realen Zielkonflikt: Edge-Robotik braucht nicht nur ein kleineres Modell, sondern koordinierte Daten-, Modell- und Laufzeitoptimierung.
Originalquelle: Hugging Face Blog – Bringing Robotics AI to Embedded Platforms: Dataset Recording, VLA Fine‑Tuning, and On‑Device Optimizations
