DPO bekämpft Wiederholungsschleifen bei OCR-Modellen
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Präferenztraining für ein objektives Problem
Direct Preference Optimization (DPO) ist vor allem aus der Abstimmung von Chatbots bekannt. Dharma AI überträgt das Verfahren auf strukturierte OCR: Eine korrekte Transkription gilt als bevorzugte Ausgabe, eine in Wiederholungen festgefahrene Ausgabe als abgelehnte Variante. Damit wird kein subjektiver Schreibstil bewertet, sondern ein klar messbarer Fehlerzustand.
Ausgangspunkt ist DharmaOCR für brasilianisch-portugiesische Dokumente. In den untersuchten offenen Modellfamilien lagen die Wiederholungsraten vor der Anpassung teils unter einem, teils über 33 Prozent. Überwachtes Fine-Tuning verbesserte viele Modelle, beseitigte das Problem aber nicht zuverlässig. Eine nachgeschaltete DPO-Phase reduzierte die Degeneration laut Auswertung in allen fünf getesteten Familien – durchschnittlich um 59,4 Prozent, im besten Fall um 87,6 Prozent.
Warum klassisches Fine-Tuning nicht genügt
Die Autoren führen die Grenze von SFT auf dessen tokenweise Optimierung zurück. Einzelne nächste Tokens können lokal plausibel sein, obwohl die vollständige Ausgabe in eine selbstverstärkende Schleife gerät. DPO bewertet dagegen ganze Antwortpaare. So lässt sich dem Modell ausdrücklich signalisieren, dass eine komplette Wiederholungsschleife unerwünscht ist. Inferenzregeln wie Wiederholungsstrafen oder ein früher Abbruch behandeln hingegen vor allem das Symptom beim Decoding.
Besonders praktisch ist die Erzeugung der Trainingsdaten: Das Modell liefert seine negativen Beispiele durch eigene Fehlschläge. Für dieselben Dokumente werden korrekte Zielausgaben und degenerierte Modellantworten zu Präferenzpaaren kombiniert. Das macht DPO hier zu einer gezielten zweiten Trainingsstufe nach der fachlichen Anpassung – SFT bringt das Modell in die Domäne, DPO formt es weg von einem konkreten Fehlermuster.
Ein Muster über OCR hinaus
Die Ergebnisse sind kein Beweis, dass DPO jedes Generierungsproblem löst. Sie zeigen aber ein wiederverwendbares Prinzip: Wenn ein Systemfehler eindeutig erkennbar ist und vollständige schlechte Ausgaben gesammelt werden können, entsteht daraus ein starkes Trainingssignal. Denkbar sind strukturierte Extraktion, Codegenerierung oder andere Aufgaben mit klaren Validitätsregeln. Für produktive KI-Pipelines bedeutet das: Fehlprotokolle sind nicht nur Material für Monitoring und Heuristiken, sondern können gezielt in die nächste Trainingsrunde zurückfliessen.
Originalquelle: Hugging Face Blog – Direct Preference Optimization Beyond Chatbots
