Spracherkennung im Vergleich: Neue Benchmarks zeigen klare Zielkonflikte
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Der Open ASR Leaderboard erweitert seinen Blick auf automatische Spracherkennung um mehrsprachige und langformatige Tests. Das ist relevant, weil klassische Benchmarks häufig kurze englische Aufnahmen unter 30 Sekunden messen, während reale Anwendungen Besprechungen, Vorlesungen, Podcasts und viele Sprachen abdecken müssen. Die Auswertung umfasst mehr als 60 offene und geschlossene Modelle von 18 Organisationen auf elf Datensätzen.
Höchste Genauigkeit braucht komplexe Decoder
Bei englischer Transkription führen derzeit Kombinationen aus Conformer-Encoder und LLM-Decoder. Beispiele sind NVIDIA Canary-Qwen-2.5B, IBM Granite-Speech-3.3-8B und Microsoft Phi-4-Multimodal-Instruct. Grosse Sprachmodelle können den akustischen Encoder durch sprachliches Wissen ergänzen und dadurch die Wortfehlerrate senken. Dieser Vorteil kostet jedoch Rechenzeit und macht die genauesten Systeme nicht automatisch zur besten Wahl für jeden Einsatz.
Für hohen Durchsatz liegen einfachere CTC- und TDT-Decoder deutlich vorn. Der Leaderboard beziffert ihren Geschwindigkeitsvorteil auf das Zehn- bis Hundertfache gegenüber komplexeren Varianten, bei etwas höheren Fehlerraten. Für Live-Untertitel, lokale Verarbeitung oder grosse Audioarchive kann diese Balance sinnvoller sein als das letzte Prozent Genauigkeit.
Mehr Sprachen bedeuten weniger Spezialisierung
Whisper Large v3 bleibt mit Unterstützung für 99 Sprachen eine wichtige mehrsprachige Basis. Auf Englisch übertreffen spezialisierte oder destillierte Varianten wie Distil-Whisper und CrisperWhisper das Original jedoch teilweise. Modelle wie MMS und Omnilingual ASR decken sogar mehr als tausend Sprachen ab, bleiben bei einzelnen Sprachen aber hinter spezialisierten Encodern zurück. Der Benchmark zeigt damit einen grundlegenden Zielkonflikt zwischen Breite und Spitzenleistung; bislang werden im mehrsprachigen Track erst fünf Sprachen geprüft.
Langform bleibt eine eigene Disziplin
Bei langen Aufnahmen führen geschlossene Systeme weiterhin, vermutlich dank Domänenanpassung, eigener Segmentierung und produktionsreifer Optimierung. Unter offenen Modellen erzielt Whisper Large v3 die beste Genauigkeit. NVIDIA Parakeet CTC 1.1B erreicht dagegen laut Messung einen RTFx von 2793,75 gegenüber 68,56 für Whisper, bei nur moderat schlechterer Wortfehlerrate von 6,68 statt 6,43, ist allerdings nur für Englisch ausgelegt. Für die Praxis lautet die wichtigste Erkenntnis: Ein ASR-Modell sollte nach Sprache, Audiolänge, Hardware, Latenz und Fehlertoleranz ausgewählt werden. Der transparente Leaderboard schafft dafür eine nützlichere Grundlage als ein einzelner universeller Rang.
Originalquelle: Hugging Face Blog – Open ASR Leaderboard: Trends and Insights with New Multilingual & Long-Form Tracks
