NVIDIA zeigt Fine-Tuning für den günstigen LeRobot-Arm
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
NVIDIA beschreibt, wie sich das Robotikmodell Isaac GR00T N1.5 auf einen erschwinglichen LeRobot-SO-101-Arm nachtrainieren lässt. Das Beispiel ist für Forschung und Prototyping interessant: Ein multimodales Modell verarbeitet Sprache und Bilder, soll Manipulationsaufgaben lernen und wird anschließend auf eine konkrete Roboterplattform angepasst.
Neue Verkörperung statt Standardannahme
Der SO-101 gehört laut Anleitung nicht zu den Robotersystemen des ursprünglichen Vortrainings. Deshalb wird er als new_embodiment eingerichtet. Das EmbodimentTag-System soll dabei helfen, Daten, Zustände und Aktionsräume einer anderen Hardware passend mit dem Modell zu verbinden. Im Tutorial dient eine LeRobot-Datensammlung zum Aufräumen eines Tisches als Beispiel, eigene Aufzeichnungen sind jedoch ebenfalls vorgesehen.
Vom Datensatz zum Checkpoint
Zunächst wird ein LeRobot-Datensatz lokal bereitgestellt und um eine modality.json ergänzt. Diese Datei beschreibt, welche Zustands- und Aktionsmodalitäten für GR00T relevant sind. Danach startet das Fine-Tuning-Skript mit dem Datensatzpfad, einer GPU und einer Konfiguration für die Kameras. NVIDIA nennt für die voreingestellten Trainingsparameter etwa 25 GB Videospeicher. Bei knapperer Hardware kann das Tuning des Diffusionsmodells laut Beitrag abgeschaltet werden.
Auswertung und Einsatz am echten Arm
Nach dem Training folgt eine Open-Loop-Visualisierung der Policy. Für den realen Betrieb wird die Inferenz als Server gestartet; ein separates Programm verbindet sich als Client mit Roboter und Kameras. Sprachliche Aufgabenanweisungen steuern anschließend die gelernte Policy, etwa beim Einsortieren von Gegenständen. Das macht den Ablauf nachvollziehbar, ersetzt aber keine Sicherheitsprüfung am physischen System.
Der praktische Wert liegt in der Verbindung von Robotikdaten, einer offenen Modellplattform und konkreten Anpassungsschritten. Wer ein eigenes Setup plant, sollte Kamerakalibrierung, Not-Aus, Begrenzungen des Arbeitsraums und Tests ohne Menschen im Umfeld vor dem autonomen Einsatz sorgfältig berücksichtigen.
Originalquelle: Hugging Face Blog – Post-Training Isaac GR00T N1.5 for LeRobot SO-101 Arm
