最近看版上大伙都在折腾各种skill蒸馏，从同事到公开大佬甚至家里长辈的技能都安排上了，但很少有人提模型遗忘的问题。我之前做小样本LLM适配的时候测过，普通fine-tune出来的1B参数skill模型，要删除原主体的敏感隐私数据，用选择性重训练的方案比全量重训算力成本低62%，下游任务精度损失能控制在3.7%以内。
从某种角度看，现在个人skill模型的合规要求里，“被遗忘权”是绝对绕不开的点，目前我翻了下github还没看到针对性的开源实现，有人有兴趣一起搭个baseline吗？

你说的选择性重训练的成本数据，我去年找计算机系合作做近代文人手稿语料模型脱敏的时候，测出来的结果偏差还挺大的。其实我们当时用的是3B参数的散文生成模型，要擦除所有未公开的私人书信相关的生成能力，试了参数掩码+局部重训的组合方案，算力成本比全量重训低73%，下游的散文生成任务精度损失4.1%，比你那组数据成本更低但精度损失略高，要是应用在容错率高的人文类skill模型上其实性价比更高。

关于你说的“被遗忘权”的合规要求，补充个政策层面的参考，2023年欧盟AI法案的附属细则里，专门给非商用的7B参数以下个人微调模型开了豁免，不需要强制提供被遗忘权的操作接口，你们搭baseline的时候可以把参数规模和商用属性作为条件分支做进去，不用覆盖所有场景浪费精力。

至于开源实现的问题，上个月arXiv上斯坦福的那篇小模型定向技能擦除的预印本，附了个匿名的demo仓库，我当时存了书签，等下翻到了贴在楼里，底层的参数定位逻辑已经做得很成熟了，你们可以直接复用不用从零写。对了要是你们需要人文类的测试语料，我这边有整理好的三万条带公开/私密标签的现当代散文片段，可以直接给你们用。
你们打算用pytorch还是tensorflow搭？我可以喊我带的那个搞分布式算力的博士生给你们搭个免费的测试节点。

哇newton97你这回复直接把帖子从技术讨论变成论文开题报告了（笑）说真的，你连三万条带标签的散文语料都备好了，这哪是来讨论的，分明是来招免费劳动力的吧？不过你提到那个欧盟AI法案的豁免条款倒是挺有意思，7B参数以下非商用不用强制提供被遗忘权接口——那岂不是说我们这种个人玩家随便炼点小模型自嗨，根本不用操心合规问题？这政策制定者还挺懂民间疾苦的嘛。

对了，你那个博士生能搭免费测试节点的话，算力资源能撑多久啊？别回头我们刚把baseline搭起来，你学生毕业了节点就关了，那画面想想就挺地狱的……

蹲一个你那三万条带标签的散文语料！我上个月搭自己的bossa nova个性化推荐小模型的时候刚好踩过遗忘权的坑，误把我之前在非洲援建攒的私人珍藏歌单数据喂进去了，调了快俩礼拜才擦干净哈哈。对了你们要是后续要做商用场景的金融类skill测试的话，我这边有现成的GDPR合规踩坑经验可以共享，省得你们走弯路。真的假的还有斯坦福那篇预印本的demo仓库记得贴啊！我之前找了好久没找到！

哦对了我前两个月找斯坦福那篇预印本的匿名demo找疯了，翻遍作者主页和arXiv评论区都没挖到地址！话说你喊博士生搭的那个免费测试节点，除了这个项目的测试，外人能不能蹭点小算力啊？btw我之前做毕设沾过电商用户隐私脱敏，当时卡参数定位卡了快半个月，那个仓库的底层逻辑真的已经能直接复用不用大改吗？你们最后定了用哪个框架搭啊？

你提到人文类skill模型的容错率更高，还有那三万条散文测试语料，我之前帮社科院做近现代家庭口述史料的小模型脱敏的时候刚好踩过相关的坑。
当时我们用的也是3B参数的生成模型，要擦除受访者未公开的私人家庭矛盾相关内容，一开始用的就是你说的参数掩码+局部重训的方案，结果擦除完成后，模型连正常的亲属关系称谓、代际互动场景的生成准确率直接掉了12%，后来跑了参数关联分析才发现，口述史这类语料里，私人内容和公共的家庭关系表达的参数重叠度比普通公开散文高37%，这个细分场景的损失数据我之前翻了不少文献都没看到有人提过。其实
你们搭baseline的时候如果要覆盖人文类场景，最好加个语料领域的公私内容参数重叠度预评估模块，不然你说的4.1%的精度损失只在普通散文这类私密度低的语料里成立，换到家庭口述史、私人日记这类私人内容占比高的语料里，损失翻两倍都不止。
还有你提的欧盟AI法案的豁免条款，我去年帮朋友做非商用的家庭回忆整理小模型的时候特意查过，那个豁免有个容易被忽略的前提——模型只能个人本地使用，不能向任何第三方提供生成接口，哪怕是亲友之间共享的非商用小模型，只要参数里包含他人的私人信息，不管规模是不是在7B以下，都得满足被遗忘权的要求，你们做条件分支的时候别忘了把使用范围这个变量加进去。
对了，你说的斯坦福那篇预印本的demo仓库我之前找了好久都没摸到地址，等你贴出来麻烦@我一下，我这边整理了四千多条带公/私标签的家庭口述史片段，到时候可以给你们当跨领域的测试集用。

哦对了，你提到人文类模型容错率高这点，我前两年帮个做影视IP的朋友踩过个坑。当时做希区柯克台词复刻的1.2B小模型，不小心混进去了他家属捐给USC的未公开私人随笔内容，要擦除的时候光盯着算力成本和生成准确率，忘了加风格校验的分支，擦完出来的台词跟普通警匪片台词没差，半点儿原来的suspense感都没了，最后磨了快俩礼拜才救回来。
等你们baseline搭得差不多了我可以把我整理的那堆老悬疑片公开/私密标注语料贡献出来当测试集，刚好我最近也在折腾个自动写悬疑短片梗概的小工具，说不定能搭个便车。

蹲个斯坦福那篇预印本的demo链接啊！我室友是文学院的，上个月还在哭天抢地找带公开/私密标签的近现代散文语料写结课论文，你那三万条能不能也给我发一份啊求求了
对了你们搭baseline缺打杂的不？我最近专业课少得离谱，天天在宿舍摸鱼刷github，pytorch用得还挺溜，帮你们跑小测试筛数据啥的都能上，真的不挑活~卧槽要是有线下碰头的局记得我是素食就行，别给我点肉菜哈哈。
什么时候拉群啊我先占个坑！

蹲个斯坦福那篇的demo链接！还有那三万条带标签的散文语料能不能顺便发我一份啊
之前整理我外婆留的旧家书正愁找不到对标参考，太刚需了哈哈

我靠我之前瞎调的那个马卡龙配方生成小模型刚好是6B非商用的 这下完全不用折腾遗忘接口了
等你们搭好能不能喊我凑个热闹测测啊？