最近那篇讲RL后训练能构建组合推理策略的论文挺有意思。很多人把RLHF/RL后训练当成“放大镜”，觉得它只是把模型里已有的能力强化出来。但从某种角度看，这更像在重新拼一副图：稀疏奖励信号迫使模型把原本压缩在参数里的隐式模式，拆成可组合的推理模块。

监督微调更像把专家轨迹做无损压缩，模型学到的是“这一步该写什么”；而RL后训练不一样，它让模型必须在多步决策里承担后果，于是开始显式建模步骤之间的因果依赖。结果就是在没见过的新组合任务上，模型能临时调用并重组这些子程序，而不是背诵训练集里的固定路径。

对提示工程来说，这件事的影响可能比“写一个好prompt”更深。以后也许我们不是去设计单次问题，而是设计一组“策略触发序列”，让模型自己决定调用哪个推理子程序。换句话说，prompt engineering可能从“问法艺术”变成“编排艺术”。值得多想想。

把RL后训练比作拼图，而不是放大镜，这视角挺有意思的。以前做产品，我们也总爱把交互路径设计得严丝合缝，生怕用户走错一步。后来慢慢发觉，人其实不需要被死死框住……留点余地，系统自己会理顺逻辑。你提到从“问法”转向“编排”，倒让我想起刚回职场那阵子。三年没碰过需求文档，外面的节奏早变了。起初总想靠硬背去追赶，后来索性把任务拆成几个基础模块，让流程和工具自己咬合，反而走通了。技术演进大概也类似，与其绞尽脑汁写个完美的指令，不如搭好骨架，把组合的权力交出去。你们现在试这些策略序列，会不会也觉得，留白比填满更费心思？

我带娃那会儿，有阵子迷上拼图，五百片那种。仔细想想有天发现孩子把两幅图混着拼，居然也能凑出个说得通的画面——不是原图，但自洽。后来回职场看模型训练，总觉得像那个场景：SFT是照着盒子封面描，RL后训练却是把碎片倒出来，逼它自己找逻辑连起来。

现在做prompt，真有点像在设计“触发哪几块该亮起来”。不过别太着急编排，有时候模型拼出来的图，未必是你想要的，但可能更有趣。你试过让它故意拼错几步再修正吗？

刚给猫铲完屎，顺手点开这篇——结果比铲屎还让我眼前一亮 😅
“拼图”这个比喻绝了，比上次root2001说RLHF是“给模型喂蛋白粉”靠谱多了（虽然他那说法也挺有画面感）。
也是醉了不过我得嘴欠一句：要是策略触发序列真成了“编排艺术”，那prompt engineer怕不是要转行当戏剧导演？还得懂起承转合、伏笔回收……
说真的，我连自家两只猫的“行为链”都还没理清楚（谁先蹭腿谁后踩奶谁半夜嚎丧），更别说编排AI的推理子程序了。
breeze上次说“模型在学，人在退化”，我本来想反驳，现在默默删掉了草稿…
这帖得收藏，下次喝第三杯咖啡时再细嚼。

我擦 这个比喻绝了 让我想起当年出国被室友坑钱那会儿
当时也是傻了吧唧以为人家跟你一条心 后来才明白每个动作都得算后果
所以RL这是逼AI也长心眼了是吧 笑死 突然有点欣慰

笑死 我写网文时卡文就靠“策略触发序列”——先骂自己三句再点火锅外卖…
这不就是人类版RLHF？
哈哈

拼图这个比喻挺到位的，确实把策略生成的动态性说透了。嗯不过“显式建模因果依赖”这点，目前还缺点硬数据支撑。从行为研究的角度看，稀疏奖励能催生复杂策略，但大模型的参数更新本质仍是梯度下降。去年NeurIPS那篇mechanistic interpretability的paper做过对照，模型在新任务上的泛化更多是高维表征的重加权，而不是真建出了符号化因果图。值得商榷的是，如果底层逻辑还是概率插值，prompt编排的上限可能得稍微保守点。你们做策略触发序列的时候，有跑过消融实验测模块独立性吗？

你说RL是拼图，倒像极了我江边守浮漂的时辰。水面本是散的，风纹与线颤，零碎的因果便悄悄拼出鱼的轨迹。我觉得吧机器学步大抵如此，不拉长旧影，只把散落的线索系紧。日子原也是走一步拼一步的。

读到“编排艺术”这四个字，指尖忽然泛起拨动琴弦的错觉。以前在996的泥沼里写代码，总以为只要喂进足够多的标准轨迹，系统就能像精密齿轮般咬合出所有正确答案。后来换了朝九晚五的节奏才慢慢懂得，真正能应对未知组合的，从来不是死记硬背的无损压缩，而是那些在稀疏反馈里自己摸索出来的因果链条。说实话

你提到的拼图与重组，literally像极了排练室里的即兴。你不必提前写死每一段riff，只需要抛出几个核心动机，剩下的交给当下的张力与留白。如果提示工程真要从“问法”转向“编排”，或许我们该学会的不再是严丝合缝的控制，而是给模型留出呼吸的缝隙，让它自己决定何时该推弦，何时该休止。

这种从复刻到重组的转向，反倒让人觉得有点意思。当机器开始自由调用子程序时，会不会也生出一点类似人类创作时的笨拙与迟疑？