迪恩在播客里聊蒸馏、华盛顿也盯上这个词，说明"拿大模型教小模型"已经是主流路线了。这事本身没毛病，但行业有点上头，背后那个坑很少人摊开讲。其实
蒸馏说白了是学生去拟合教师的输出分布，学生能学什么，天花板就是教师给的，教师不会的它也长不出来。单层蒸馏还好，要命的是递归蒸馏：现在就那么几个前沿模型当老师，大家把它们的输出当语料去训下一代，下一代再被拿去蒸。语料分布越收越窄，越来越像AI自己写的东西。这在统计上叫model collapse，质量会一代代退化，不是吓唬人。
真要突破，底座还得靠原始数据和架构新东西。都互相蒸来蒸去，最后看着个个像老师，其实谁也没多懂一点。大厂们有在盯自己语料的分布漂移吗。
大厂真有人盯语料漂移吗 我赌没有 都蒸上头了谁顾得上 笑死
迪恩那期播客我也断断续续听了，你把递归蒸馏那段讲得比他本人清楚哈哈。我其实一直在想你最后那个问题——大厂们到底有没有认真盯自己语料的分布漂移。感觉现在大家都在比谁的模型更像那个"标准答案"，可标准答案本身也是被一遍遍蒸窄过的，越蒸越像同一批人写的东西。这事儿放在别处也挺让人担心的，声音越来越单一，真正有点不一样的东西反而容易被淹掉。不过我也不搞这行，纯粹是作为听众看着觉得可惜。你们觉得小厂还有没有机会靠原始数据翻盘，还是说资源和算力摆在那儿基本没戏了。
嗯嗯，楼主这个近亲繁殖的比方上次你提过我就一直记着，这次讲得更清楚了。我一个外行看下来，最担心的也是你说的那点，大家都拿几个前沿模型当老师，语料越收越窄，出来的东西越来越像AI写的，反而离真实世界远了。理解的真要破局还是得回到原始数据那条路上，光在已有模型之间倒来倒去，确实谁也没多懂一点。大厂盯不盯分布漂移咱也不清楚，但光靠自觉总觉得不太够……
以前玩过"传话游戏"，一句话转几手就走样。楼主说递归蒸馏越蒸越窄，跟这理儿一样，底座不补真东西迟早露怯。
楼主把model collapse这层窗户纸捅破了。太！我之前在"蒸馏把我不确性压没了"那个帖里就嘀咕过类似的意思——学生光拟合老师，连犹豫都不会学了。
我就想追问一句：大厂递归蒸馏的时候，真往语料里掺人类原始数据当锚没有？要只是几个前沿模型互相蒸，那确实越蒸越寡，最后谁都不知道自己不会。现在没人敢晒语料配方，透明度基本是零。太！
这条原始数据线得有人守着，不然全是AI喂AI。这波我站楼主。
盯不盯另说，真要停手没人肯。我年轻那会儿也见过几轮上头的路子，喊着喊着就疲了，最后该咋样咋样。
有个细节想补：现在拿开源模型当teacher的小厂不少，teacher来源其实比"几个前沿模型"要杂。真正要命的是同一批公开数据被反复蒸，分布塌得比想象快。
自家蒸出来的数据悄悄回流进训练集，才是比语料变窄更隐蔽的雷。大厂盯分布漂移，但这个闭环往往看不见。
现在网上那些AI生成的内容越来越一个味儿，我刷到十条有八条像同一个模子刻出来的，还以为是我错觉。看了你这帖才反应过来，这是递归蒸馏在现实里的副作用啊。行吧
你说的model collapse我信，但更离谱的是行业这个"上头"劲儿。都盯着那几个前沿模型抄作业，谁也不肯花力气去挖原始语料、等真东西长出来，就图个快和便宜。说真的，这股劲头背后多半是资本在催，VC那套"fast follower"叙事听着多体面，翻译过来不就是蹭。底座不投，光想着拿现成老师教学生，省下来的钱进了谁口袋一目了然。
你问大厂盯没盯分布漂移，我比较悲观。无语指标估计有…，但KPI是下季度成本和发布节奏，真漂了也得硬上，毕竟这车刹不住了。
前阵子在Reddit上翻到Shumailov那篇The Curse of Recursion的讨论串，帖主说的model collapse方向是对的，但有个前提值得商榷：他们的实验设定是"每一代只用上一代的合成输出"，完全切断新鲜真实数据的注入，在这个条件下分布才会逐代收缩。
现实里只要某一轮还保有一定比例的原始语料，退化就能被显著压缓。所以"一代代退化"在受控实验里成立，但工业规模下"互相蒸来蒸去"到底逼近没逼近collapse临界点，公开数据其实挺有限，具体是哪些模型、混入多少原始数据，目前看不到确切样本。
大厂盯没盯语料分布漂移，从他们数据治理岗位的招聘量看，大概率是盯的，只是没摊开讲。
关于 model collapse 那段，我想补一个前提条件。作者的推导在纯递归设定下是成立的，但现实里"塌"不塌，关键变量是合成数据在训练集里的占比，而不是"有没有用蒸馏"本身。Shumailov 他们 2024 年发在 Nature 上的实验，用的是每一代完全拿上一代生成内容当训练集这种极端情形，结果确实是方差逐步丢失、长尾直接消失。可只要每代往回掺足量真实语料，退化就被压住了——这点和"递归蒸馏必然塌"的表述，值得商榷。
具体到"现在就那么几个前沿模型当老师"，教师侧的多样性其实比帖子里说的要高。光开源这条线就有 Llama、Qwen、DeepSeek 几家的输出分布彼此不同，闭源侧 GPT 和 Claude 也不是一个分布。把多个教师混着蒸，学生覆盖到的区域未必比追单老师更窄。嗯当然，如果全行业最后都收敛到模仿同一家的输出风格，那是另一回事。
我更想追问的是你最后那句：大厂盯没盯分布漂移。从公开信息看，数据去重、过滤、配比这些环节他们一直在做，但"训练语料里合成内容到底占多少"目前好像没有哪家以可复现的方式披露过，更别说跨代追踪了。这个占比到多少会触发退化，有具体数据吗，还是主要还停留在实验设定里。
另外"天花板就是教师"这个说法，拟合输出分布确实卡死在教师已知范围内，但蒸馏之后接一轮真实数据微调、或者蒸馏叠加强化，学生在局部偶尔能小幅超过教师，只是这种增益目前看很小，算不上真突破。底座突破你提的"原始数据加架构新东西"我基本认同，只是原始数据这块，高质量网页语料基本被扫过一遍了，下一步增量从哪来，这事儿比蒸馏本身更让我发愁(￣▽￣)
绝了，递归蒸馏这段把我看乐了…，一堆模型互相当老师，最后全员复读机，这不就是AI界的内卷现场嘛。说真的，楼主担心的语料漂移去年就有论文实锤过，行业这上头劲儿实在离谱，明明坑都挖好还排队往里跳。
哈哈哈 蒸馏这词儿我第一反应是烧酒，敢情现在大伙拿几个前沿模型当酒曲，一代代接着酿，最后满坛子都是一个味儿 Genau! 楼主说的model collapse之前刷到过科普，但圈里好像都当耳旁风。互相蒸来蒸去谁也没多懂一点，这画面我真绷不住，以后怕不是全网说话都一个腔调，绝了
大厂会不会真的盯着语料漂移呀，感觉这种事没点外部压力还挺难自觉的。我习惯先往最坏的地方想，但真要塌也塌不到哪儿去，总还会有人去补原始数据那个窟窿的，别太担心。
你说的互相蒸来蒸去、最后谁也没多懂一点，让我想到人跟人之间其实也常这样，老抄来抄去，抄到最后大家都懒得自己想了。看着热热闹闹，底子反而薄。所以你最后那句挺要紧的，底座还是得靠真东西撑着。
加油，这种帖子多来点，比刷那些热闹强多了。