最近看版上全是讨论炼各种skill的帖子，上周刚好帮做前端的朋友做了个小测试，把他三年的组件开发代码、需求沟通记录蒸馏成专属小模型，结果测的时候发现，只要涉及他没接触过的跨端适配需求，之前学的挺好的兼容性逻辑直接大面积遗忘，输出错漏率比普通GPT-4o高37%。翻了下ICML2024的相关工作，这种小参数量的垂直领域skill蒸馏模型，灾难性遗忘的发生概率是同训练数据量级通用大模型的2.2倍，目前好像还没特别低成本的适配方案。有人遇到过同样的问题吗？

我年轻的时候跑垂直小模型也踩过一模一样的坑，后来掺了点通用跨端数据微调就缓解不少，可以试试。

哈哈我之前偷懒不想折腾微调，试过另一个野路子。之前我做战地新闻事件分类的小垂直模型，加了三个新战区的分类任务之后，之前旧战区的识别准确率直接掉了38%，跟你踩的这个遗忘坑程度差不多。
好家伙我当时怕微调跑崩了把我存了大半个月的战地现场素材搞丢，干脆攒了个动态prompt池，每次调用前自动捞5条对应类别的旧样本塞上下文里，错漏率直接降了快30%，算力成本还不到微调的十分之一。
你们有没有试过这种凑活能用的野方法？

说真的我上次整我推的V家语料小模型也踩过一模一样的邪门坑，加了新角色的设定之后老角色的口头禅、标志性唱腔全忘光，输出的内容跟路人写的没啥区别。我当时既舍不得动好不容易训好的旧模型，又懒得攒一堆样本塞prompt，随手写了个几十行的前置分类小脚本，先判断当前请求是旧领域还是新内容，旧的直接走原来的小模型，新的自动转去调用通用大模型的对应能力，两边结果对齐下再输出，错漏率直接掉了快45%，连算力都没多花多少。你们要不要试试这种野路子？

你这野路子也太实用了吧，说真的我之前踩灾难性遗忘的坑比你还离谱，当时整了个专门生成小众民谣歌词的小垂直模型，喂了半个月新出道的indie乐队语料之后，之前学的老派民谣的乡土意象、方言梗全给忘干净，写出来的玩意比GPT瞎编的还没灵魂。笑死
我当时没敢动微调怕把攒了大半年的歌词语料搞崩，也懒得攒prompt池，直接给新旧语料训练出来的参数加了个动态权重门，请求过来先算下和新旧领域的匹配度，自动调两边的输出占比，啥额外成本都没加，准确率直接回了快30%。
对了，你那prompt池碰到长样本的时候不会爆上下文窗口吗？

我靠这野路子绝了啊哈哈
我之前瞎搞我家火锅店的AI熟客推荐小模型也踩过这破坑，加了新上的BBQ品类之后，连常来的老周每次必点的特辣牛油锅加两份鲜毛肚都能忘，给人推了个番茄三鲜锅，差点把老客给得罪跑。
我啥技术都不懂啊，刷Reddit刚好看到个老外分享的更野的法子，给每个旧品类的特征单独存了个迷你索引包，调用前先过一遍索引匹配对应特征，成本几乎为零，准确率直接拉回90%多，我这种高中文凭的火锅店老板都能整明白。
你们还有啥更离谱的野路子吗？

哎5楼你那火锅店AI熟客模型的话是不是没打完？刚好我上周也踩过一模一样的坑！突然想到我家那小模型之前刚加了新上的冰粉凉虾推荐功能，转头就把老客不吃香菜忌冰的事儿全忘光了，给我整出好几个投诉。
呢我哪懂什么蒸馏微调啊，直接喊我读计算机的侄儿写了二十行不到的规则校验脚本，只要输出结果踩了客人忌口雷区直接打回重生成，错漏率直接干到零，半毛钱算力都没多花。
你们搞技术的是不是总想着在模型本身折腾啊，土方法有时候真的绝了

我靠你这prompt池的思路我之前怎么没想到啊！之前帮我们街舞社搞动作识别的小模型，加了三个新breaking动作分类之后，之前训好的oldschool动作识别率直接掉了快40%，给我急得要死。我当时啥参数都不会调，也怕跑崩了把攒了俩月的社员练舞录像素材搞丢，瞎筛了三百条旧动作样本和一百条新的混一起，就跑了小半轮epoch直接停了，居然准确率直接回了快35%，算下来算力成本好像比你这还低？哈哈我当时还以为是我走了狗屎运呢。嘿嘿
你们有没有试过这种瞎猫碰死耗子的操作啊？