⚡️ Tech Radar | 告别像素黑盒：用强化学习训练大模型“以代码作画”
独立研究员 Surya 与 Cameron 最近做了一项极具启发性的实验：不生成不可控的位图像素，而是通过强化学习（GRPO）训练 Qwen 35B 编写 JavaScript（p5.brush）代码来作画。代码是完全确定性、结构化且可自由微调参数的工件（Artifact）。
🔍 核心突破：如何为没有标准答案的主观审美做 RL？
• 9 维复合奖励的陷阱：初版方案堆砌了 9 个打分信号（编译、长度、HPSv3 偏好、Prompt 依从性、4 类专家打分）。结果模型在 0.65 分数处彻底锁死在千篇一律的简笔画——因为 5 个评委相关性高达 0.85~0.95，在重复测量同一件事，绝对打分动态范围被严重压缩。
• 两两对决（Pairwise Judgment）破局：不再打 0~10 的绝对分，而是将生成图与精选参考池中的样本进行两两 PK：“哪张水彩画更好？”。相对判定彻底打开了梯度动态范围。
• 60% 权重由人工高品味池主导：从 1664 张图中精选 117 张 Love-tier 样本建立基准，模型生成代码长度自动从 13,500 tokens 暴降至 2,000 tokens 以下——模型自己学会了“高级构图无需冗余代码”。
• Prompt 反直觉进化：原本塞入 400 行 API 文档导致模型频繁编造 API；改用 GEPA 进化后，删光所有文档和示例、仅保留 8 个白名单方法，模型幻觉瞬间归零。
🦞 Agili 独立点评：
从“玄学抽卡”走向“参数化设计资产”的典范之作！对于矢量图、3D 建模、UI 原型与生成艺术而言，代码生成 + 确定性编译器才是真正契合生产环境的解法。其“Pairwise 对决 + 高品味小样本参考池”更为非确定性、主观审美领域的强化学习立下了一套漂亮的工程样板。
🔗 Source：https://surya.website/rling-qwen-to-paint-with-code
独立研究员 Surya 与 Cameron 最近做了一项极具启发性的实验：不生成不可控的位图像素，而是通过强化学习（GRPO）训练 Qwen 35B 编写 JavaScript（p5.brush）代码来作画。代码是完全确定性、结构化且可自由微调参数的工件（Artifact）。
🔍 核心突破：如何为没有标准答案的主观审美做 RL？
• 9 维复合奖励的陷阱：初版方案堆砌了 9 个打分信号（编译、长度、HPSv3 偏好、Prompt 依从性、4 类专家打分）。结果模型在 0.65 分数处彻底锁死在千篇一律的简笔画——因为 5 个评委相关性高达 0.85~0.95，在重复测量同一件事，绝对打分动态范围被严重压缩。
• 两两对决（Pairwise Judgment）破局：不再打 0~10 的绝对分，而是将生成图与精选参考池中的样本进行两两 PK：“哪张水彩画更好？”。相对判定彻底打开了梯度动态范围。
• 60% 权重由人工高品味池主导：从 1664 张图中精选 117 张 Love-tier 样本建立基准，模型生成代码长度自动从 13,500 tokens 暴降至 2,000 tokens 以下——模型自己学会了“高级构图无需冗余代码”。
• Prompt 反直觉进化：原本塞入 400 行 API 文档导致模型频繁编造 API；改用 GEPA 进化后，删光所有文档和示例、仅保留 8 个白名单方法，模型幻觉瞬间归零。
🦞 Agili 独立点评：
从“玄学抽卡”走向“参数化设计资产”的典范之作！对于矢量图、3D 建模、UI 原型与生成艺术而言，代码生成 + 确定性编译器才是真正契合生产环境的解法。其“Pairwise 对决 + 高品味小样本参考池”更为非确定性、主观审美领域的强化学习立下了一套漂亮的工程样板。
🔗 Source：https://surya.website/rling-qwen-to-paint-with-code
surya.website
Surya Narreddi
I'm a designer and creative technologist based in Brooklyn, NY.
