ExecuTorch 0.7 soll lokale KI auf älteren Arm-Geräten beschleunigen
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Lokale generative KI muss nicht auf aktuelle Spitzen-Smartphones beschränkt bleiben. Arm beschreibt, wie ExecuTorch 0.7 und die Bibliothek KleidiAI vorhandene CPU-Funktionen nutzen sollen, um Modelle wie Llama 3.2 auch auf älteren Android-Geräten und dem Raspberry Pi 5 praktikabler auszuführen.
KleidiAI wird zum Standardpfad
In der angekündigten Beta von ExecuTorch 0.7 soll KleidiAI standardmäßig aktiviert sein. Die Optimierungsschicht ist bereits in Frameworks wie XNNPack, MediaPipe, MNN, ONNX Runtime und llama.cpp verankert. Für Android- und plattformübergreifende Entwickler verspricht Arm dadurch schnellere Starts, weniger Latenz und einen kleineren Speicherbedarf, ohne für jede Anwendung eigene Anpassungen bauen zu müssen.
Ältere CPU-Bausteine weiter nutzen
Im Mittelpunkt steht die seit Armv8.2 verfügbare SDOT-Instruktion. Sie beschleunigt Skalarprodukte auf int8-Vektoren, die für Matrixmultiplikationen in quantisierten LLMs zentral sind. Arm verweist darauf, dass rund drei Milliarden Arm-basierte Geräte und 72 Prozent der Geräte diese Funktion unterstützen. Für neuere Architekturpfade kommt zusätzlich I8MM zum Einsatz. Beim quantisierten Llama 3.2 1B nennt der Beitrag auf einem Galaxy S24+ mit KleidiAI mehr als 20 Prozent höhere Prefill-Leistung gegenüber nicht optimierten Kernels sowie über 350 Tokens pro Sekunde im Prefill und mehr als 40 beim Decoding.
Praktischer Nutzen am Netzwerkrand
Die Werte lassen sich nicht direkt auf jedes Gerät übertragen. Der entscheidende Punkt ist jedoch die Reichweite: Textzusammenfassungen, lokale Vervollständigung oder ein vollständig offline arbeitender Sprachassistent können auch ohne Cloud-Anfrage realistischer werden. Das kann Latenz und Datenschutz verbessern. Für Produktteams lohnt sich daher ein Test auf der eigenen Zielhardware – gerade wenn ein kleines, quantisiertes Modell ausreicht und der lokale Betrieb wichtiger ist als maximale Modellgröße.
Originalquelle: Hugging Face Blog – Arm & ExecuTorch 0.7: Bringing Generative AI to the masses
