LeRobotDataset v3: Robotikdaten für Millionen Episoden
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Mit LeRobotDataset v3.0 kündigt Hugging Face ein neues Datenformat für Robotik-Lernprojekte an. Es soll Datensätze mit sehr vielen Episoden besser handhabbar machen und erlaubt gleichzeitig das Streaming großer Sammlungen. Die Vorabversion ist für die kommende stabile LeRobot-Ausgabe vorgesehen.
Weniger Dateien, mehr Skalierung
Die Vorgängerversion legte eine Episode pro Datei ab. Bei Millionen von Episoden stößt dieses Muster an Grenzen von lokalen und entfernten Dateisystemen. Version 3 fasst deshalb Daten mehrerer Episoden in größeren Einheiten zusammen. Tabellarische Sensordaten und Aktionen liegen in Apache Parquet, Bildfolgen je Kamera in MP4-Dateien. Relationale Metadaten halten fest, wo eine konkrete Episode beginnt und endet. Dadurch bleibt der Zugriff auf einzelne Trainingsabschnitte möglich, ohne jede Episode als eigene Datei verwalten zu müssen.
Metadaten verbinden Modalitäten
Das Format kombiniert hochfrequente Zustände, Aktionen, Kamerafeeds und Beschreibungen von Aufgaben und Robotern. Zentrale Dateien definieren Schema, Bildrate, Normalisierungswerte und Pfade; zusätzliche, in Parquet gestückelte Episodenmetadaten beschreiben Länge, Aufgabe und Speicherort. Die Trennung zwischen Speicherlayout und nutzerfreundlicher API soll LeRobot zugleich effizient und flexibel halten.
Streaming für große Trainingsdaten
Über StreamingLeRobotDataset können v3-Datensätze laut Beitrag direkt vom Hub verarbeitet werden, ohne die gesamte Sammlung auf lokalen Speicher zu laden. Für Trainingspipelines ist das relevant, wenn Videodaten und Zeitreihen den verfügbaren Datenträger übersteigen. Die Bibliothek unterstützt außerdem zeitliche Fenster über delta_timestamps, etwa mehrere Kamerabilder vor einer Beobachtung, und die Einbindung in PyTorch DataLoader.
Bestehende v2.1-Repositorien lassen sich mit einem Konverter migrieren, der Einzeldateien zusammenführt und Metadaten aktualisiert. Für Robotikteams kann das Kosten und Betriebsaufwand bei wachsenden Datenbeständen senken. Da Hugging Face die aktuelle Unterstützung noch als Pre-Release bezeichnet, gehören Tests der Konvertierung, der Datenintegrität und der Trainingsperformance vor dem produktiven Umstieg dazu.
Originalquelle: Hugging Face Blog – `LeRobotDataset:v3.0`: Bringing large-scale datasets to `lerobot`
