Das Qwen-Team hat mit Group Sequence Policy Optimization (GSPO) einen neuen Reinforcement-Learning-Algorithmus für Sprachmodelle vorgestellt. Nach Angaben des Teams wurde das Verfahren bereits beim großskaligen RL-Training der neuesten Qwen3-Modelle eingesetzt.
Optimierung auf Ebene ganzer Sequenzen
GSPO unterscheidet sich laut Qwen von früheren RL-Verfahren dadurch, dass es das Importance Ratio anhand der Wahrscheinlichkeit einer vollständigen Sequenz bestimmt. Clipping, Belohnung und Optimierung erfolgen ebenfalls auf Sequenzebene.
Das Team positioniert GSPO gegenüber Group Relative Policy Optimization (GRPO). Beim Training von Mixture-of-Experts-Modellen (MoE) mit GRPO habe eine Volatilität der Expertenaktivierungen eine korrekte Konvergenz verhindert, schreibt Qwen. Zuvor habe das Team dafür eine Strategie namens Routing Replay verwendet.
GSPO beseitige diese Abhängigkeit von Routing Replay vollständig, so die Eigenbeschreibung. Außerdem könne das Verfahren von Inferenz-Engines zurückgegebene Likelihoods direkt für die Optimierung verwenden; eine erneute Berechnung mit Training-Engines sei damit nicht nötig.
Berichtete Tests gegen GRPO
Für die Experimente nutzte das Team nach eigenen Angaben ein Cold-Start-Modell, das aus Qwen3-30B-A3B-Base feinabgestimmt wurde. Als Vergleichsbasis diente GRPO.
Der Blogbeitrag berichtet Trainings-Reward-Kurven sowie Leistungskurven für AIME'24, LiveCodeBench und CodeForces. Qwen zufolge erreichte GSPO bei gleichen Trainingskosten eine bessere Leistung und eine deutlich höhere Trainingseffizienz als GRPO.
Diese Resultate sind jedoch Herstellerangaben aus einem einzelnen primären Blogbeitrag. Das vorliegende Material enthält keine unabhängige Replikation, keine externen Bewertungen und keine detaillierten Kennzahlen, mit denen sich Größe und statistische Belastbarkeit des behaupteten Vorsprungs beurteilen ließen.
Warum der Ansatz relevant sein könnte
Falls sich die berichtete Stabilität und Effizienz in weiteren Tests bestätigt, könnte ein sequenzorientiertes Verfahren insbesondere für RL-Training großer MoE-Sprachmodelle relevant sein. Die von Qwen beschriebene Möglichkeit, Likelihoods aus der Inferenz ohne erneute Berechnung im Trainingssystem zu nutzen, zielt zudem auf einen potenziell weniger aufwendigen Trainingsablauf.
Die Aussagekraft ist vorerst begrenzt: Der Vergleich bezieht sich auf GRPO als Baseline und auf die vom Qwen-Team genannten Benchmarks sowie das verwendete Modell-Setup. Aus den verfügbaren Informationen lässt sich nicht ableiten, wie GSPO gegenüber weiteren RL-Methoden, anderen Modellarchitekturen oder unabhängigen Implementierungen abschneidet.
Wie es weitergeht
Entscheidend wären veröffentlichte technische Details und unabhängige Tests, die GSPO unter vergleichbaren Bedingungen gegen weitere RL-Verfahren und auf zusätzlichen Modellen prüfen.
Änderungsvermerk: Erstfassung auf Basis eines primären Qwen-Blogbeitrags vom 27. Juli 2025.