Xeon 6 beschleunigt offene KI-Modelle in der Google Cloud
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Intel und Hugging Face haben untersucht, wie effizient sich das offene Sprachmodell GPT OSS auf allgemeinen Cloud-CPUs betreiben lässt. Im Vergleich standen Google-Cloud-Instanzen der Reihen C3 und C4. Das Ergebnis des veröffentlichten Benchmarks: Die neuere C4-Generation mit Intel Xeon 6 liefert je vCPU eine deutlich höhere Token-Leistung und kann dadurch die Kosten großer KI-Inferenz senken.
Mixture of Experts passt gut zur CPU
Getestet wurde das Modell unsloth/gpt-oss-120b-BF16, ein Mixture-of-Experts-Modell mit 120 Milliarden Parametern. Bei dieser Architektur entscheidet ein Routing-Mechanismus, welche spezialisierten Teilnetze für ein Token aktiv werden. Weil nicht alle Experten gleichzeitig rechnen müssen, bleibt CPU-Inferenz trotz der Modellgröße grundsätzlich praktikabel. Zusätzlich floss eine Optimierung in die Transformers-Bibliothek ein: Jeder Experte verarbeitet nur noch die ihm tatsächlich zugewiesenen Tokens, statt unnötig Arbeit für den gesamten Stapel zu leisten.
Der kontrollierte Test verwendete Eingaben und Ausgaben mit jeweils 1.024 Tokens, Batch-Größen von 1 bis 64, bfloat16, einen statischen KV-Cache sowie SDPA-Attention. Verglichen wurden eine C3-Instanz mit 172 vCPUs auf Intel Sapphire Rapids und eine C4-Instanz mit 144 vCPUs auf Granite Rapids. Über die getesteten Batch-Größen erreichte C4 laut Bericht das 1,4- bis 1,7-Fache des Durchsatzes pro vCPU. Bei Batch-Größe 64 ergibt sich daraus rechnerisch ein TCO-Vorteil von rund 1,7 zu 1, da die Preise pro vCPU ungefähr vergleichbar seien.
Was der Benchmark aussagt
Für Betreiber ist besonders relevant, dass nicht nur schnellere Hardware verantwortlich ist. Das Zusammenspiel aus neuer CPU-Generation, MoE-spezifischer Softwareoptimierung und einer reproduzierbaren Inferenzkonfiguration verbessert die Auslastung. Damit können große offene Modelle auch dann interessant sein, wenn GPU-Ressourcen knapp, teuer oder organisatorisch unerwünscht sind. C4 zeigte im Test zugleich höheren Durchsatz, niedrigere Latenz und einen niedrigeren Stundenpreis als die ältere Vergleichsinstanz.
Einordnung für die Praxis
Die Zahlen sind dennoch kein universeller Preisvergleich. Sie stammen aus einem fest definierten Generierungs-Workload und sollten für reale Prompts, Parallelität, Latenzziele und Cloud-Rabatte erneut geprüft werden. Für Teams mit CPU-basierter Infrastruktur liefert der Versuch aber einen klaren Hinweis: Framework-Optimierungen können ebenso entscheidend sein wie die Hardwarewahl. Vor einer Migration empfiehlt sich deshalb ein eigener Benchmark mit typischen Sequenzlängen und Lastprofilen.
Originalquelle: Hugging Face Blog – Google Cloud C4 Brings a 70% TCO improvement on GPT OSS with Intel and Hugging Face
