GPT-OSS lernt stabile Werkzeugnutzung durch Agentic RL
đź’ˇ Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
LinkedIn beschreibt, wie das offene Modell GPT-OSS-20B für agentisches Reinforcement Learning stabilisiert wurde. Dabei optimiert das Training nicht nur eine einzelne Antwort, sondern komplette Abläufe: Der Agent plant, ruft Werkzeuge auf, wertet Resultate aus und passt sein weiteres Vorgehen an. Erste Versuche mit dem Framework verl zeigten jedoch explodierende Gradienten, steigende KL-Divergenz und kaum bessere Belohnungswerte.
MoE-Routing verletzte die On-Policy-Annahme
Bei Proximal Policy Optimization sollte das Verhältnis zwischen aktueller und zur Datenerzeugung verwendeter Policy in einem reinen On-Policy-Lauf exakt eins sein. Ältere verl-Versionen berechneten dafür zwei getrennte Forward-Pässe. In einer Mixture-of-Experts-Architektur können kleine numerische Unterschiede zu abweichendem Experten-Routing führen. Dadurch unterschieden sich die Log-Wahrscheinlichkeiten, PPO löste fälschlich Clipping aus und das Training wurde instabil. Für echte On-Policy-Batches setzte das Team deshalb den alten Wert auf eine abgetrennte Kopie der aktuellen Log-Wahrscheinlichkeit.
Diese Korrektur reichte allein nicht aus. Zwischen der schnellen Rollout-Erzeugung mit SGLang oder vLLM und dem Training unter FSDP bestand weiterhin ein Wahrscheinlichkeitsunterschied. Sequenzbasierte Rollout-Korrektur stabilisierte zwar die Gradienten, doch die Belohnung stieg nur langsam. Die Untersuchung fĂĽhrte schliesslich zur Attention-Implementierung.
Attention Sinks brauchten einen vollständigen Kernel
GPT-OSS nutzt pro Attention-Head einen lernbaren Attention Sink. Dieser virtuelle Wert nimmt an der Softmax-Normalisierung teil, liefert aber keinen eigenen Value-Beitrag. FlashAttention v2 unterstützte das nicht; auch bei v3 fehlte der nötige Rückwärtsdurchlauf. LinkedIn übernahm daher einen vorhandenen Forward-Pfad aus dem vLLM-Fork und implementierte den Backward-Pass für die Sink-Parameter. Danach konvergierte GPT-OSS-20B in Mathematik-, Instruktions- und mehrstufigen Werkzeugaufgaben deutlich schneller und zeigte stetige Reward-Verbesserungen.
Speicher bleibt der zweite Engpass
Zusätzlich beseitigte das Team eine MoE-Implementierung, die Hidden States für sämtliche Experten vervielfachte und auf 16 H200-Systemen extreme Speicheranforderungen verursachte. Eine speichersparendere Verarbeitung sowie Sequence Parallelism verteilen lange Agentenkontexte über mehrere GPUs. Der Praxisbericht zeigt damit, dass agentisches RL nicht allein von Algorithmus und Daten abhängt: Trainings- und Inferenzpfad, Kernel-Funktionen und Parallelisierung müssen semantisch übereinstimmen. Für Entwickler ist das eine wichtige Warnung, Stabilitätsprobleme nicht vorschnell dem Modell oder Reward-Design zuzuschreiben.
Originalquelle: Hugging Face Blog – Unlocking Agentic RL Training for GPT-OSS: A Practical Retrospective
