Hugging Face führt Storage Buckets für flexible KI-Artefakte ein
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Eine Arbeitsablage für Daten in Bewegung
Hugging Face erweitert seinen Hub um Storage Buckets. Die neue Funktion richtet sich an Dateien, die während der Entwicklung von KI-Systemen laufend entstehen und verändert werden: Checkpoints, Optimizer-Zustände, verarbeitete Datensätze, Logs oder Agenten-Traces. Für solche Artefakte ist ein versioniertes Git-Repository oft zu schwerfällig. Buckets bieten deshalb einen veränderbaren, S3-ähnlichen Objektspeicher, der im Browser, über die hf-CLI sowie mit Python und JavaScript verwaltet werden kann.
Ein Bucket gehört zu einem Nutzer oder einer Organisation, übernimmt die bekannten Hub-Berechtigungen und kann öffentlich oder privat sein. Adressiert wird er über Pfade wie hf://buckets/…. Verzeichnisse lassen sich synchronisieren, einzelne Dateien kopieren und veraltete Objekte entfernen. Dry-Run und speicherbare Synchronisationspläne sollen grössere Transfers kontrollierbar machen.
Xet spart Bandbreite und Speicher
Technische Basis ist Hugging Faces chunkbasierter Speicher Xet. Statt jede Datei als geschlossenen Block abzulegen, zerlegt das System Inhalte und dedupliziert gleiche Teile. Das passt zu ML-Workloads, bei denen aufeinanderfolgende Checkpoints oder Datensatzversionen grosse Überschneidungen besitzen. Bereits vorhandene Chunks müssen nicht erneut übertragen werden. Das kann Uploads beschleunigen, Bandbreite reduzieren und bei Enterprise-Tarifen auch die abgerechnete Speichermenge senken.
Für rechenintensive Jobs ist zudem ein Pre-Warming vorgesehen: Häufig benötigte Daten können näher an eine AWS- oder GCP-Region gebracht werden, bevor Training oder Verarbeitung startet. Damit adressiert Hugging Face einen klassischen Engpass verteilter KI-Pipelines – den Weg zwischen globalem Speicher und regionaler Rechenleistung.
Praktischer Nutzen und Grenzen
Die Integration in fsspec macht Buckets für bestehende Python-Workflows interessant. Bibliotheken wie pandas, Polars und Dask können über hf-Pfade direkt lesen und schreiben. Der Dienst ersetzt jedoch nicht die versionierten Modell- und Datensatz-Repositories: Buckets sind als bewegliche Arbeitsschicht gedacht, stabile Ergebnisse gehören weiterhin in ein Repository. Direkte Transfers zwischen beiden Ebenen stehen erst auf der Roadmap.
Für Teams, die bereits auf dem Hub arbeiten, entsteht damit eine durchgängige MLOps-Ablage mit weniger Werkzeugwechseln. Entscheidend bleiben Kosten, Zugriffsregeln und Datenstandort. Die Funktion ist in bestehenden Hub-Speicherplänen enthalten; kostenlose Konten erhalten ein Einstiegskontingent, höhere Grenzen gelten für Pro und Enterprise.
Originalquelle: Hugging Face Blog – Introducing Storage Buckets on the Hugging Face Hub
