PyTorch 2.15: Apple-Macs erhalten schnellere KI-Inferenz und FP8
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
PyTorch 2.15 bringt umfangreiche Verbesserungen für den MPS-Backend auf Apple-Silicon-Macs. Im Mittelpunkt stehen schnelleres Decoding von Sprachmodellen, FP8-Unterstützung und zahlreiche neue Metal-Kernel. Für Entwicklerinnen und Entwickler, die Modelle lokal auf einem Mac ausführen oder trainieren, soll das Update mehrere frühere Performance- und Speicherprobleme entschärfen.
Mehr Tempo für LLMs und MoE-Modelle
Beim schrittweisen Generieren eines Tokens dominieren Matrix-Vektor-Operationen. PyTorch 2.15 verbindet hierfür spezialisierte GEMV-Kernel direkt mit F.linear und beschleunigt außerdem Softmax über große Vokabulare. Der Beitrag nennt für einen Softmax mit 128.256 Werten einen Rückgang von 57 auf sieben Mikrosekunden gegenüber dem früheren MPSGraph-Pfad.
Besonders groß fallen die Verbesserungen bei Mixture-of-Experts-Modellen aus. Eine native grouped-matmul-Implementierung und weniger CPU-GPU-Synchronisationen sollen auf einem M3 Ultra für Qwen3.6-35B-A3B einen Sprung von 9,4 auf 61,3 Tokens pro Sekunde bringen. Solche Laborwerte hängen jedoch stark von Modell, Mac-Konfiguration, Kontextlänge und Compiler-Einstellungen ab.
FP8 und weniger Speicherprobleme
Neu ist die Speicherung des Formats float8_e4m3fn auf MPS. FP8 benötigt pro Wert ein Byte und damit halb so viel Speicher wie BF16 oder FP16; scaled Matrix Multiplication kann diese Werte direkt auf der GPU nutzen. Das kann Speicherreserven für größere lokale Modelle schaffen, verlangt aber eine sorgfältige Prüfung von Genauigkeit und Kompatibilität im jeweiligen Workflow.
Auch Video-Workloads profitieren: Für das Decoding des tiled VAE von Wan2.2 nennt der Beitrag durch neue Metal-Padding-Kernel einen Rückgang der maximalen Driver-Speichernutzung von rund 270 auf etwa acht GiB. Daneben wurden Faltungen, Dropout, Upsampling-Gradienten und lineare Algebra überarbeitet. Ein Fehler beim VAE-Encoding von Qwen-Image-2.1 auf MPS soll ebenfalls behoben sein.
Voraussetzungen und Praxis
Für MPS setzt PyTorch nun macOS 15 oder neuer sowie Python 3.11 voraus. Wer lokale Inferenz mit Transformers, Diffusers oder ComfyUI betreibt, sollte vor dem Produktiveinsatz eigene Benchmarks ausführen: Modelle, Eingabelängen und Speicherbedarf unterscheiden sich deutlich. Das Release zeigt aber die Richtung klar: Mehr Rechenpfade wandern von MPSGraph in dedizierte Metal-Kernel, und für 2.16 sind weitere Verbesserungen bei Attention und Decoding angekündigt.
Originalquelle: Hugging Face Blog – MPS in PyTorch 2.15
