GPU-Cluster effizient teilen: Ai2 ersetzt Prioritäten durch Zeitbudgets
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
In großen KI-Clustern ist Rechenzeit knapper als Hardware: Beim Forschungsinstitut Ai2 übersteigt die Nachfrage das GPU-Angebot laut Bericht meist um das Zwei- bis Dreifache. Ein klassisches Prioritätssystem führte dort zu vorhersehbaren Fehlanreizen. Teams reservierten Kapazität vorsorglich, hohe Prioritäten wurden inflationär vergeben und Wartungsarbeiten verlangten häufig manuelle Abstimmung.
Von Prioritäten zu Rechenzeit-Budgets
Das neue Modell verteilt nicht mehr dauerhaft GPUs, sondern Anteile an GPU-Zeit. Führungskräfte hinterlegen diese Budgets hierarchisch für Programme, Projekte und Forschende. Jeder geschützte Job muss aus einem Budget finanziert werden; nicht zugeordnete Jobs dürfen zwar freie Kapazität nutzen, können aber jederzeit verdrängt werden. Damit soll es unattraktiv werden, Systeme mit Leerlaufjobs zu blockieren.
Technisch kombiniert Ai2 dies mit einem hierarchischen Fair-Share-Scheduler. Er betrachtet standardmäßig ein gleitendes Sieben-Tage-Fenster und bevorzugt Gruppen, die ihren zugesagten Anteil bisher weniger genutzt haben. So kann freie Rechenzeit weiterhin ausgelastet werden, ohne die langfristige Verteilung aus den Augen zu verlieren.
Planbare Unterbrechungen statt Dauerreservierung
Ein weiterer Baustein ist ein Laufzeitvertrag: Jobs deklarieren eine Mindestlaufzeit, in der sie vor Preemption geschützt sind. Danach darf der Scheduler resumierbare Aufgaben neu einreihen. Das bringt Zeitscheiben auch in lange Trainingsläufe und erleichtert das kontrollierte Leeren fehlerhafter Hosts. Für Entwicklungstests können kurze Mindestlaufzeiten besonders wertvoll sein.
Messbare Effekte und praktische Lehren
Im beschriebenen Test erhielten Teams 98 Prozent der geschuldeten GPU-Stunden, während die Auslastung bei 98 Prozent blieb. Die p90-Wartezeit für Debug-Jobs sank von zwei Stunden auf 30 Sekunden; manuelle Reparatureingriffe gingen um 74 Prozent zurück. Die Zahlen stammen aus Ai2s eigener Umgebung und sind daher keine allgemeine Garantie. Für IT-Teams zeigt der Ansatz dennoch: Transparente Budgets, belastbare Preemption-Regeln und Simulationen vor dem Rollout können aus umkämpfter GPU-Kapazität einen besser steuerbaren Dienst machen.
Originalquelle: Hugging Face Blog – Impactful scheduling for GPU clusters
