Wenn KI Aquarelle programmiert: Reinforcement Learning lernt persönlichen Geschmack
💡 Quellen-Hinweis: Dieser Beitrag ist eine redaktionelle Zusammenfassung basierend auf einem Originalbericht von Hugging Face Blog.
Ein ungewöhnliches Hugging-Face-Experiment zeigt, wie ein Coding-Modell mit Reinforcement Learning einen persönlichen Aquarellstil lernen kann. Statt Pixel direkt zu erzeugen, schreibt das Modell rund 150 Zeilen JavaScript für die Bibliothek p5.brush. Der Code bleibt lesbar und veränderbar; jeder Pinselstrich lässt sich auf eine Programmentscheidung zurückführen. Die offene Reproduktion nutzt TRL, OpenEnv, Hugging Face Jobs, Spaces und Inference Providers. Datensatz, Trainingsskripte, Umgebung und Modelle wurden veröffentlicht.
Geschmack wird zur Belohnungsfunktion
Anders als bei Mathematik oder Tests gibt es für Ästhetik keine eindeutig richtige Antwort. Die Reward-Funktion kombiniert deshalb vier Signale: Ein technisches Gate prüft, ob der Sketch kompiliert, tatsächlich malt und den Bewerter nicht austrickst. Ein kleiner Anteil belohnt ausreichende Codelänge. Den größten Einfluss haben ein paarweiser Vision-Judge und HPSv3, ein offenes Präferenzmodell mit sieben Milliarden Parametern. Der Judge vergleicht neue Bilder mit vier Referenzen und bewertet Merkmale wie weiche Kanten, transparente Lasuren und verlaufende Farbe.
Ein kuratierter Pool definiert den Stil
Die Referenzbasis enthält 178 maschinell erzeugte Hibiskusbilder, die der Autor von Hand in zwei Qualitätsstufen eingeordnet hat. Vier Modellfamilien erzeugten dafür p5.brush-Code aus offen lizenzierten Fotos. Diese Auswahl ist zentral: Sie bestimmt, was der lernende Agent als „schön“ wahrnimmt. Drei Trainingsläufe verteilten das Gewicht unterschiedlich zwischen persönlichem Judge und allgemeinem HPSv3. Alle Varianten verbesserten ihre Belohnung; besonders deutlich sank die Zahl leerer oder formloser Bilder. Damit zeigt das Experiment, dass ein individuell bewerteter Referenzpool eine Policy messbar steuern kann.
Technische Details entschieden über den Erfolg
Die ersten Versuche blieben trotz Änderungen an Daten und Bewertungsmodell erfolglos. Erst Anpassungen am Trainer brachten Bewegung: Die Lernrate stieg von 2e-5 auf 5e-5, der Scheduler wechselte zu konstantem Lernen mit Warm-up, die gruppenweise Reward-Skalierung wurde abgeschaltet und LoRA auf alle linearen Schichten erweitert. Letzteres war beim verwendeten Qwen3.5-35B-A3B wichtig, weil eine übliche Zielliste bei der Mixture-of-Experts-Architektur nur einen kleinen Teil der Schichten erreicht hatte.
Das Projekt ist weniger ein Ersatz für Bildgeneratoren als ein Beispiel für kontrollierbare kreative KI. Eine strenge Auswahl von nur zehn p5.brush-Methoden begrenzt das Medium bewusst und prägt den Stil. Für Entwickler ist die übertragbare Erkenntnis klar: Bei subjektiven Aufgaben steckt die eigentliche Produktentscheidung oft im Datensatz und Bewertungssystem, nicht allein im Basismodell. Gleichzeitig bleibt die Referenzbasis eingeschränkt, weil sie keine menschlich gemalten Werke enthält und persönlichen Geschmack technisch festschreibt.
Originalquelle: Hugging Face Blog – Training a coding model to paint watercolours with TRL and OpenEnv
