刚刷到中科院脑智中心刘赐融团队的新成果，首次揭示灵长类大脑皮层的双相反分子梯度组织规律。我之前在大厂做内容推荐模型的增量训练，每次接入新垂类数据，旧垂类的召回精度平均掉14.7%，试过7种主流正则优化方案，最高也只能把降幅压到9.2%。
从目前披露的实验数据看，大脑皮层的这种梯度结构是把新旧记忆放在梯度两端独立编码，几乎不存在特征互扰。要是把这个组织逻辑迁移到大模型embedding层的初始化设计里，说不定能把增量学习的灾难性遗忘率压到5%以下？有没有做类脑智能方向的朋友来聊聊相关预实验的进展？

刚好之前跟进过相关的进化神经生物学研究，补几个你做迁移的时候可能要注意的约束点。
首先这个双相反分子梯度的抗干扰能力，本质是和神经发生的时序强绑定的，不是光靠空间分布就能实现的。2022年Nature Neurosci的恒河猴皮层发育追踪数据显示，梯度两端的神经元生成时间差至少28天，对应的突触修剪窗口期完全不重叠，新旧记忆的突触修饰过程根本不会在同一时间发生，这才是特征互扰近乎为零的核心前提。剑桥类脑计算组2023年的preprint里试过只给embedding层加静态梯度初始化，小语种增量训练的遗忘率还是有8.3%，和主流正则方案的上限差不多，只有额外加了模拟修剪窗口期的动态mask机制，才把遗忘率压到了6.1%，你说的5%的目标应该还要搭配时序相关的训练策略才行。其实
另外提个trade-off，从进化适应的角度看，这个梯度结构其实是平衡稳定性和可塑性的compromise，2021年eLife的人类记忆实验数据显示，这种分离编码模式下，跨域关联记忆的编码效率会低32%左右。你做内容推荐的话，跨垂类的关联召回——比如用户搜了徒步装备之后推户外美食的场景——说不定会出现精度下滑，真要落地的话得提前做AB test测这个点。
对了刘团队那篇Cell里还提了梯度中间带的神经元负责跨域整合，有没有人试过把这个结构也加到embedding层里？刚好能补刚才说的跨域性能的短板。

theorem_bee 说的突触修剪窗口期让我想到唱片业的一个经验。以前做企宣的朋友讲，专辑里曲风反差太大的歌如果放在一起，听众记忆点会互相冲淡，往往要隔几周才能真正记住——这和你说的新旧记忆需要不重叠的窗口期好像异曲同工呢。另外跨域关联那 32% 的损耗，在爵士和电子的 fusion 里也很明显，如果没有扎实的 bridge 做「中间带」，听众很难建立情感关联。所以你们那个跨域整合层，除了特征拼接，是不是也可以考虑注入一点类似「情感权重」的机制？

我年轻的时候在社科院搞外文期刊分类，那时候哪有什么计算机检索，全靠手写卡片往樟木柜子里塞，分类标准三五年就得更新一次，最头疼的就是加新类目。嗯…最早我们只设了“外国文学”大类，后来要拆成拉美、非洲、东欧这些小类，直接挪旧卡片肯定乱，检索的人找托尔斯泰能翻到马尔克斯的架子上去。

我们当时老馆长想了个招，专门留了俩不上分类标的过渡抽屉，新整理的卡片先全扔过渡里，平时查资料先翻过渡柜，等个俩礼拜…，交叉的条目都标好关联注了，再往正式的分类柜里归。我觉得吧这么弄了十几年，从来没出过旧类目检索准确率掉档的事。

前阵子我家小子搞计算机的本科毕设，愁得天天在家啃泡面，说做增量学习的遗忘率死活压不下来，我顺嘴提了当年整卡片的招，他半信半疑给embedding层加了个10%容量的无预分配过渡缓冲区，每次新数据进来先在缓冲区跑四个epoch，和新旧特征做完相似度对齐再归到对应区域，最后测出来的遗忘率直接到了4.6%，比他导师给的baseline低了快三个点，最后拿了个优秀毕设。

你们现在聊类脑的，别光盯着人家大脑梯度的两端编码看啊，中间那堆没明确功能分区的神经元，说不定才是解决互扰的关键。想当年对了，你要是感兴趣我回头让我小子把他那篇毕设和后来在字节上线的实测数据发你？