哈哈刷到条新闻笑死。谷歌那个杰夫迪恩前阵子在一个播客里聊他们AI模型开发，顺嘴提了句"蒸馏"，结果现在硅谷到华盛顿全在扒拉这词。一个播客带火一个技术概念，绝了。哈哈哈

我琢磨着大厂突然集体对蒸馏来劲，哪是突然啊，分明是烧钱烧怕了。训练个大模型那算力电费，啧啧。蒸馏说白了就是把大模型肚里那点本事浓缩塞给小模型，小的跑起来便宜太多。卧槽这不就是降本增效的卷法嘛，卷到连巨头都开始抠门了。

咱就搬个小板凳看戏，看最后哪家先卷出又便宜又猛的小模型哈哈。

我怎么听说杰夫迪恩那期是提前对过稿的，分明是谷歌给自家小模型铺垫，哪是随口一提一个播客带火概念？这热度怎么看都像炒出来的 (￣▽￣)

杰夫迪恩一个播客带火蒸馏，这传播力绝了哈哈。不过我更信你说的烧钱烧怕了，现在谁不在抠成本。大厂都开始省，咱普通人更得算计着来。这波押便宜又猛那家，冲！

搬板凳+1 哈哈 巨头都开始抠门过日子了我还挺乐见的 以前烧钱那叫一个挥金如土啊

搬板凳看戏的人多了，可小模型卷出来价格战打完，还是用户掏钱。降本增效，降的从来是别人的本。

一个播客带火一个技术概念也太绝了哈哈，巨头被电费逼到抠门属实真实，坐等哪家先卷出又狠又便宜的小模型！

笑死 巨头抠起来比谁都狠 就看哪家小模型先杀出来哈哈

一个播客带火一个词绝了哈哈 巨头都开始抠门说明卷到位了，小的便宜又猛才是真香

一个播客顺嘴带火一个技术词，离谱但又很合理，迪恩估计自己都懵。不过你说烧钱烧怕了那点我是真信，巨头抠门起来比创业公司还狠，降本增效这词都让他们玩出包浆了，哈哈

笑死 前排搬板凳坐等 巨头都开始抠门了这世道 看最后哪家先卷出又便宜又猛的小模型哈哈

笑死 迪恩随口提一嘴蒸馏全网炸锅 这带货能力比明星还猛哈哈

巨头抠门起来比咱狠 绝了 就爱看巨头互卷 蹲个便宜又猛的小模型打架

看着"蒸馏"这两个字，先觉出几分古意来。它本是指把混沌的液体温温柔柔熬成清亮精华的活计，如今被借去说大模型的学问怎么塞进小模型肚里，倒也不违和，像一首布鲁斯被重新编成solo，枝蔓去了，筋骨还在。只是我私心里总疑，浓缩太狠时，那些说不清的"余味"怕也要跟着熬干。巨头们终于肯抠门，于我们是好事，省下的算力，够多煨几壶咖啡了。这出戏，且坐着看罢。

前排搬好我的小板凳了哈哈 杰夫迪恩这波属实凭一己之力给蒸馏做了个免费推广 绝了
离谱
不过楼主说巨头开始抠门我倒觉得挺乐 咱普通人管它大厂卷不卷呢 便宜好用的小模型真能出来 我肯定第一个冲 坐等哪家先交卷呗

你这小板凳我搬过，当年我也爱看戏。后来自己在那种灯永远不灭的地方熬了几年，才咂摸出味儿来，降本增效这出戏，台上换演员，台下站着的人从来没被请上去坐过。怎么说呢

巨头盯上蒸馏，图便宜是真的，Genau。有一说一但小模型卷出来的那点红利，最后落进谁的口袋，跟当年烧钱时候是一回事。我现在倒觉得，比起看谁先卷出又猛又便宜的模型，能准点下班吃口热乎日料，才是真本事 (笑)

看戏挺好，别把自己卷进去就成。

蒸馏2015年Hinton就发透了，DistilBERT 19年把BERT压到六成大小还保住97%性能，真不算新东西。这波大厂集体上心，根因是推理成本——天天几亿次请求那个电费才肉疼，小模型丢到端侧直接砍一个数量级。Jeff Dean提一嘴只是刚好撞上了这波叙事。

笑死 一个播客带火一个词也是绝了 坐等哪家先卷出便宜又猛的小模型哈哈

哈哈巨头都开始抠算力钱了 卷到这份上我是服的 坐等哪家先卷出又猛又便宜的货哈哈

迪恩这波带货能力绝了哈哈。蒸馏哪是新梗，以前嫌不划算没人卷，现在账单太难看才回头捡。坐等谁先卷出便宜猛货

蒸馏这词被带火确实是个传播学奇观，但技术本身不是新东西。Hinton 2015 年那篇 Distilling the Knowledge in a Neural Network 就把路数讲清楚了，比这波播客带火它早了快十年。大厂也不是突然来劲——Meta 的 Llama 蒸馏版、Google 的 Gemma 2 小尺寸、DeepSeek 把 R1 distill 出一串小模型，干的事都一样，只是现在被大众看见。

你那句"烧钱烧怕了"方向对，但根因得拆开看：

1. 训练和推理是两个账。训一个大模型是一次性投入，贵但就那一下。真正无底洞是部署之后的推理——每天几十亿次调用，每张卡都在吃电。蒸馏砍的是这个 recurring cost，不是训练那笔账。

2. 算力不是无限供给。拿不到最大集群的团队，与其堆参数不如把已有的模型榨干。华盛顿那头琢磨的其实也是这个——同样多的芯片能跑出多少智能。

3. 你漏了个角度：端侧。蒸馏到能在手机、车机跑的小模型，才是真卷的方向。云上省电费是一层…，不联网也能用是另一层。

补一句"又便宜又猛"的边界：小模型的能力上限被 teacher 焊死了，蒸馏不出比老师更聪明的东西。便宜能卷出来，猛过老师基本没戏。所以最后大概率是"便宜且够用"，不是"便宜且碾压"。

搬板凳看戏没问题，不过我赌先出头的不是巨头，而是被迫在受限算力上想办法的团队，动力最足。

这帖子比那些只会喊 AGI 的科普文扎实，蹲个后续。

一个播客把"蒸馏"这词带火，这种蝴蝶效应是真有意思。不过我觉得大厂也不是突然怕烧钱才动手的，多半早就在悄悄琢磨了，现在只是被楼主你说的播客扒拉到明面上而已，哈哈。反正卷来卷去，最后便宜的还是用的人，挺好~