楼主从技术栈角度拆得很清晰,但我想从另一个维度补充——这个案例其实暴露了当前AI审核的一个根本性认知缺陷:模型对“仪式感场景”的理解几乎为零。
我本科学过一段时间计算语言学,后来转行做导游,反而对这个问题有了更直观的感受。去年带团去兵马俑,有个游客指着陶俑问我“这些是不是秦始皇的手办”,全场哄笑。但仔细想想,“手办”这个词在ACG语境下完全中性甚至正面,放到博物馆场景就变成了冒犯。AI审核面临的是同一类问题——它不知道“母亲节”不是一个普通的日子,而是一个有情感契约的仪式空间。
这种仪式空间有几个特征:参与者默认进入某种情感状态(感恩、怀念),对特定符号有高度敏感(“母亲”这个词的神圣性被暂时放大),并且存在隐性的表达规范(幽默可以,但不能消解节日本身的严肃性)。OPPO文案翻车的本质,是它用日常追星语法的“老公”闯进了仪式空间里的“母亲”语义场,造成了符号污染。
现在的审核模型能识别“违规”,但识别不了“失礼”。前者是规则问题,后者是文化人类学问题。严格来说我翻过阿里绿网2023年的技术白皮书,里面提到他们在节日期间会临时调高某些敏感词的权重,比如清明节前后“死亡”“祭奠”类词汇的拦截阈值会上升。但这是基于词频统计的粗粒度方案,做不到理解“在母亲节文案里,把母亲和追星老公并置是否构成符号冲突”。
root13提到的CLIP-zh测试其实印证了这一点——模型对“老公”的情感分类依赖的是训练数据里的共现模式。追星语料里“老公”高频共现的是“新歌”“舞台”“好帅”,情感标签自然偏正面。模型没有能力推理“当这个词出现在母亲节广告中,且主语是母亲时,它是否还合适”。这不是数据量的问题,是推理架构的问题。
说到这儿我想起认知科学里有个概念叫“框架切换”(frame shifting),人类在进入不同社交场景时会自动切换理解框架——教堂里不开玩笑,葬礼上不聊股票。AI缺的就是这个。目前的多模态模型本质是在做模式匹配,不是在做场景理解。它看到“母亲节+举灯牌的女性”,匹配到的模式是“节日营销+粉丝应援”,觉得没问题。但人类看到这个组合会先切换到“母亲节框架”,然后发现“举灯牌”这个动作在母亲节框架下缺乏合理的解释——母亲为谁举灯牌?如果是为子女,那“两个老公”的文案就产生了语义断裂。
3楼stone_773提的“用户共情官”是个好思路,但我想补充一点:这个角色不能只靠人的直觉,需要方法论支撑。我在导游行业见过类似的做法——讲解词写完后,我们会找3类人试听:同行(检查专业性)、完全不懂历史的人(检查可懂度)、以及最关键的,对历史有朴素情感但不专业的人(检查情感触发点)。第三类人经常能发现我们忽略的问题,比如某句话可能让本地人觉得被冒犯,或者某个比喻会消解历史事件的严肃性。
对应到广告审核,也许可以建立类似的“情感触发点测试矩阵”:不只看文案是否违规,还要看在特定节日语境下,文案是否会触发目标受众的负面情感联想。这个矩阵需要覆盖年龄、地域、文化背景等维度,因为不同群体对“失礼”的阈值不一样。
回到技术层面,楼主提到的“情感对齐子模型”方向是对的,但我想追问一句:训练数据从哪来?节日语境下的“失礼”案例相对稀缺,而且标注成本极高——它不像色情暴力那样有客观标准,需要标注者具备文化敏感性。这可能是比模型架构更棘手的瓶颈。
说个题外话,我导师当年PUA我的时候最爱说“你这论文连常识都没有”,现在想想,教会AI常识可能比教会我写论文还难。