Hugging Face hat einen Blogbeitrag veröffentlicht, der eine offene Umsetzung eines Reinforcement-Learning-Trainings für ein Coding-Modell beschreibt: Das Modell erzeugt JavaScript-Programme mit p5.brush, die Aquarellbilder zeichnen. Laut Beitrag wurden der Referenzdatensatz, die RL-Umgebung, die Trainingsskripte und die trainierten Modelle offen veröffentlicht.
Was das Projekt macht
Nach Darstellung des Beitrags schreibt das Modell Programme mit rund 150 Zeilen JavaScript, welche das Bild erzeugen. Die Umsetzung verwendet TRL und OpenEnv und soll eine Idee von Surya Narreddi reproduzieren; die p5.brush-Bibliothek wird Alejandro Campos Uribe zugeschrieben.
Der Referenzpool umfasst laut Artikel 178 von Modellen erzeugte Gemälde. Die Bilder wurden anhand persönlicher Präferenzen des Autors in zwei Stufen, „love“ und „okay“, eingeteilt.
Bewertung und Trainingsläufe
Für eine paarweise Bewertung setzt die beschriebene Pipeline Qwen3-VL-30B-A3B-Instruct ein, ein allgemeines Vision-Modell, das über HF Inference Providers aufgerufen wird. Daneben nennt der Beitrag HPSv3 als offenes Präferenzmodell mit 7 Milliarden Parametern.
Der Autor berichtet von drei Trainingsläufen, die sich ausschließlich in der Gewichtung zwischen zwei Modell-Richtern unterschieden. Zwei Läufe mit dem paarweisen Richter seien für 200 Schritte angesetzt, aber bei Schritt 110 beendet worden; die Belohnung sei zu diesem Zeitpunkt noch langsam gestiegen. Konkrete Vergleichswerte oder eine belastbare Rangfolge der drei Reward-Mischungen gehen aus den vorliegenden Angaben nicht hervor.
Warum die Offenlegung relevant ist
Die angekündigte Veröffentlichung aller zentralen Artefakte kann es anderen ermöglichen, die beschriebene Trainingspipeline nachzuvollziehen oder zu verändern: vom kleinen, präferenzbasierten Referenzpool über die RL-Umgebung bis hin zu den Skripten und resultierenden Modellen.
Das ist jedoch zunächst eine Selbstdarstellung in einem einzelnen offiziellen Hugging-Face-Blogbeitrag, nicht eine unabhängige Evaluation. Aus den verfügbaren Informationen lässt sich daher nicht ableiten, wie gut die Ergebnisse außerhalb der beschriebenen Tests generalisieren oder wie sie sich gegenüber anderen Methoden messen.
Infrastruktur und offene Punkte
Laut Beitrag läuft die gesamte Pipeline Ende zu Ende auf Hugging Face. Der Autor schreibt zudem, einen Fehler in OpenEnv entdeckt und eine Korrektur an das Upstream-Projekt übermittelt zu haben.
Offen bleiben unter anderem Details zur tatsächlichen Verfügbarkeit und Lizenzierung der einzelnen Artefakte, die vollständigen Einstellungen der drei Läufe sowie eine unabhängige Reproduktion der Resultate.
Wie es weitergeht
Entscheidend wird sein, ob Dritte die offenen Artefakte nutzen können, um die Ergebnisse zu reproduzieren, die Reward-Varianten systematisch zu vergleichen und die Methode auf weitere Code- oder Bildaufgaben zu übertragen.
Änderungsvermerk: Erstfassung auf Basis eines offiziellen Hugging-Face-Blogbeitrags vom 3. September 2026.