3LM prüft arabische KI bei MINT und Programmierung
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Mit 3LM steht ein offener Benchmark bereit, der arabischsprachige Sprachmodelle gezielt bei MINT-Aufgaben und beim Programmieren prüft. Bisher konzentrierten sich viele arabische Evaluierungen auf allgemeine Aufgaben wie Zusammenfassungen oder Sentiment. Für Bildung, technische Assistenz und Softwareentwicklung reicht das nur begrenzt aus: Dort zählen Fachwissen, formales Denken und das Verständnis präziser Aufgabenstellungen.
Drei Perspektiven auf die Modellqualität
Der Benchmark verbindet drei Datensätze. Der Bereich Native STEM umfasst 865 Multiple-Choice-Fragen aus arabischen Unterrichtsmaterialien der Klassen 8 bis 12; Physik, Chemie, Biologie, Mathematik und Geografie sind abgedeckt. Ergänzend kommen 1.744 synthetische, anspruchsvollere MINT-Fragen hinzu. Für den Code-Teil wurden HumanEval+ und MBPP+ in arabische Prompts übertragen, während Programme und Tests unverändert blieben. Damit lässt sich Sprachverständnis von der eigentlichen Programmlogik besser trennen.
Die Erstellung setzte auf OCR inklusive Formelverarbeitung, automatisierte Extraktion und anschließende Prüfung durch Muttersprachler mit MINT-Erfahrung. Bei den Code-Aufgaben wurden Übersetzungen rückübersetzt und schwache Beispiele aussortiert. Das ist wichtig, weil ein Benchmark nicht nur viele Fragen braucht, sondern auch nachvollziehbare Qualitätskontrollen und belastbare Vergleichbarkeit.
Ergebnisse zeigen Stärken – und Grenzen
Mehr als 40 Modelle wurden untersucht. Qwen2.5-72B-Instruct erreichte bei den nativen und synthetischen Multiple-Choice-Teilen die höchsten genannten Werte von 71,8 beziehungsweise 67,0 Prozent. Bei offenen MINT-Antworten lag Gemma-3-27B bei 43,2 Prozent. In den arabischen Programmieraufgaben führte GPT-4o; zugleich beobachteten die Autoren eine starke Korrelation zwischen arabischen und englischen pass@1-Ergebnissen. Das weist darauf hin, wie entscheidend die Qualität sprachspezifischer Prompts bleibt.
Praktischer Nutzen für Teams
Für Entwickler und Forschungsteams liefert 3LM eine offen verfügbare Grundlage, um Modelle vor dem Einsatz in arabischsprachigen Lern- oder Coding-Szenarien realistischer zu testen. Die Auswertung nutzt etablierte Werkzeuge wie lighteval und EvalPlus. Ergebnisse sollten dennoch nicht als pauschales Gütesiegel gelesen werden: Aufgabenformat, Instruktionsabstimmung und Prompt-Design beeinflussen die Leistung messbar. Gerade diese Transparenz macht den Benchmark als Ergänzung zu allgemeinen LLM-Ranglisten interessant.
Originalquelle: Hugging Face Blog – 📚 3LM: A Benchmark for Arabic LLMs in STEM and Code
