Hugging Face stellt den Hub schrittweise auf Xet-Speicher um
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Hugging Face baut die Speicherbasis seines Model- und Dataset-Hubs um: Statt sich allein auf Git LFS zu stützen, soll das System nach und nach auf Xet wechseln. Der Anbieter berichtet, dass bereits 500.000 Repositories mit zusammen 20 Petabyte umgezogen sind; mehr als eine Million Nutzerinnen und Nutzer verwenden Xet inzwischen. Für Teams soll der Wechsel möglichst unsichtbar bleiben.
Kompatibilität vor radikalem Umstieg
Der Kern der Strategie ist eine Bridge zwischen alter und neuer Welt. Xet-fähige Clients teilen Dateien beim Upload in inhaltsabhängige Blöcke auf und nutzen einen Content-Addressed Store. Ältere Versionen von huggingface_hub oder huggingface.js können jedoch weiter mit Xet-Repositories arbeiten: Die Git-LFS-Bridge liefert ihnen eine einzelne signierte URL und setzt die angeforderten Dateien serverseitig wieder zusammen. Auch Uploads älterer Clients bleiben möglich und werden anschließend im Hintergrund migriert.
Damit vermeidet Hugging Face einen harten Stichtag. Repositories dürfen LFS- und Xet-Dateien parallel enthalten, während Downloads und Uploads nicht blockiert werden. Praktisch bedeutet das: Bestehende Automatisierungen und Werkzeuge müssen nicht sofort ersetzt werden, obwohl die zugrunde liegende Speichertechnik bereits wechselt.
Migration im Petabyte-Maßstab
Im Hintergrund löst jedes zu migrierende Objekt einen Webhook aus. Ein Orchestrator sammelt LFS-Revisionen, bündelt sie nach Dateianzahl oder Größe und verteilt die Aufträge an Worker. Diese laden die Daten aus dem bisherigen Speicher und schreiben sie über xet-core in den neuen Speicher. Bei großen Umzügen traten dennoch typische Infrastrukturprobleme auf: volle lokale Datenträger, Engpässe bei Netzwerk- und EBS-I/O sowie zusätzlicher Bedarf im Content Store.
Nach Anpassungen an Client, Worker-Hardware und Speicherdiensten stieg der gemeldete Durchsatz von rund 35 auf Spitzenwerte um 300 Gb/s, während der reguläre Hub-Verkehr weiterlief. Das zeigt, wie anspruchsvoll eine Umstellung wird, sobald Modellgewichte und Datensätze Petabyte-Dimensionen erreichen.
Was sich für Hub-Nutzer ändert
Für bestehende Projekte bleibt zunächst vor allem die Abwärtskompatibilität relevant. Wer Xet-Zugang erhält und huggingface_hub aktualisiert, kann laut Hugging Face schnellere Transfers nutzen. Künftig sollen auch vorhandene Repositories migriert und neue standardmäßig Xet-aktiviert werden. Für DevOps- und ML-Teams ist das ein Beispiel dafür, wie sich große Datenplattformen weiterentwickeln lassen, ohne Anwender zu einem riskanten Workflow-Bruch zu zwingen.
Originalquelle: Hugging Face Blog – Migrating the Hub from Git LFS to Xet
