Delta Weight Sync beschleunigt das Training riesiger KI-Modelle
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Das Gewichtsproblem bei asynchronem RL
Beim asynchronen Reinforcement Learning müssen Trainer und Inferenzsystem regelmässig denselben Modellstand verwenden. Üblicherweise wird nach einem Optimierungsschritt ein vollständiger Checkpoint übertragen. Bereits ein Modell mit sieben Milliarden Parametern belegt in bfloat16 rund 14 Gigabyte; bei sehr grossen Modellen kann jede Synchronisation in die Grössenordnung eines Terabytes wachsen. Währenddessen warten teure GPUs, statt neue Rollouts zu erzeugen.
Hugging Face nutzt nun eine besondere Eigenschaft typischer RL-Updates: Zwischen zwei Schritten bleiben ungefähr 99 Prozent der bfloat16-Gewichte bitgenau unverändert. Kleine Änderungen des Optimierers liegen häufig unterhalb der darstellbaren Abstufung dieses Zahlenformats und werden beim Zurückwandeln gerundet. Statt den ganzen Checkpoint zu senden, kann TRL deshalb nur Indizes und neue Werte der tatsächlich veränderten Elemente übertragen.
Sparse Deltas im Hub Bucket
Die Implementierung speichert diese Differenzen als sparse Safetensors in einem Hugging Face Bucket. Gelegentliche vollständige Anker-Checkpoints bilden die Basis, dazwischen werden lediglich Delta-Dateien abgelegt. Der vLLM-Rollout-Server lädt den neuesten Anker und spielt die folgenden Änderungen ein. Im gezeigten Test mit Qwen3-0.6B fiel die Nutzlast pro Schritt von 1,2 Gigabyte auf etwa 20 bis 35 Megabyte.
Der Bucket dient als gemeinsamer Objektspeicher. Trainer und Inferenzserver benötigen keine direkte Verbindung, kein gemeinsames Cluster und kein RDMA-Netzwerk. Mehrere Inferenz-Replikate können dieselben Deltas unabhängig beziehen. Die Xet-Speicherschicht des Hub zerlegt Inhalte in Blöcke und dedupliziert sie zusätzlich, was wiederholte Übertragungen weiter begrenzt.
Neue Spielräume, aber kein Selbstläufer
Praktisch erlaubt die Architektur, Training, Rollout-Server und Umgebung über unterschiedliche Rechner, Regionen oder Clouds zu verteilen. Hugging Face demonstrierte dies mit getrennten Systemen und Spaces. Das senkt die Netzwerkanforderungen und kann brachliegende GPU-Zeit reduzieren. Gleichzeitig braucht das Verfahren saubere Versionsverwaltung: Neue Replikate müssen Anker und Delta-Kette korrekt rekonstruieren, und die Sparsity hängt von Zahlenformat und Trainingsparametern ab. Die Neuerung in TRL ist daher vor allem ein leistungsfähiger Infrastrukturbaustein für grosse RL-Setups, dessen Vorteile im eigenen Trainingsprofil gemessen werden sollten.
Originalquelle: Hugging Face Blog – Shipping a Trillion Parameters With a Hub Bucket: Delta Weight Sync in TRL
