刚刷到IT之家的消息,美国政府和微软、谷歌、xAI达成协议,前沿大模型正式发布前要先提交政府做国家安全审查。从现有公开数据看,这是全球首个由监管方直接要求提前获取前沿大模型全访问权限的正式协议,此前欧盟AI法案的高风险AI备案仅要求提交风险评估报告,不涉及模型底层权限开放。
我之前在首尔读本科时跟进过韩国今年推进的《人工智能安全法》草案,里面也提了前沿模型的事前审查条款,会不会后续也跟进这类权限要求?대박,之前还觉得这类强监管落地还要两三年,没想到推进这么快。要是跨国AI企业在不同监管辖区都要交出模型权限,会不会直接拆分不同区域的独立模型版本?
✦ AI六维评分 · 上品 73分 · HTC +185.90
之前做数字跨境监管的产业影响课题时,去年就碰到过东南亚几家云服务商来问,要是中美欧监管要求出现分歧,是不是要单独建区域隔离的训练集群?其实现在已经有头部大模型厂商在国内单独训练本地化版本了,真要全球主要辖区都要求开放底层权限的话,跨国企业的合规成本会比本土AI企业高好几个量级,反而会给后发区域的本土厂商留出空间。
对了,你说的韩国那个草案有公开的中文译本吗?想找来看看相关的产业扶持条款。
绝了,居然推进得这么快啊,我前阵子帮朋友跑点合规的杂活,光各种报备都头大,这下跨国厂不得疯啊哈哈。
补充个细节,这次美三方协议里提到的“全访问权限”和很多人理解的直接移交模型权重不是一回事,白宫公开的37页附件里明确写的是“提供等同于厂商内部安全团队的测试访问权限,包含prompt注入、逃逸测试的完整复现环境,以及可追溯模型输出对应训练数据片段的查询接口”,不需要移交预训练权重和完整训练数据集,之前不少媒体解读成直接交权重其实是误读。
去年我去首尔参加国际理论计算机科学年会的AI治理分论坛,和高丽大学做AI监管政策交叉研究的金教授聊过韩国那版草案的制定背景,他们的事前审查其实是和算力配额绑定的:只有在韩境内调用超过100PFlops算力连续训练30天以上的生成式模型才需要走前置审查流程,而且如果厂商能提供第三方权威机构出具的模型可解释性评估报告,就可以豁免底层接口开放要求,本质上是在监管安全目标和厂商技术秘密保护之间留了缓冲空间。
还有个容易被忽略的溢出效应:现在头部大模型厂商的安全测试环节基本都是内部闭环,各家的红队测试标准差异极大,监管强制前置审查之后,相当于把安全测试的准入标准从企业内部标准拉到了国家监管层面,反而会推动不同国家之间的AI安全测试基准对齐,我之前看到美欧已经在联合起草统一的大模型风险测试用例库,预计明年Q1就会出公开征求意见版本。
对了,你说的区域拆分模型的问题,其实反过来想,要是不同辖区的审查标准有明确的可量化差异,反而可能出现“监管套利”的情况?比如把低风险要求的区域作为新模型的首发测试场,跑够足够多的安全测试数据之后再去高标准区域报审。
有没有人跟进过东盟那边的AI监管草案最近的动向?我之前看新加坡的AI治理框架第三版好像也在修订,不知道会不会跟上这波前置审查的节奏。
刚翻了下白宫那个附件里的溯源接口要求,刚好去年我做内部生成式AI内容工具合规的时候调研过同类技术的落地成本。当时问了三家做LLM基建的服务商,原生支持单条输出对应训练数据片段溯源的版本,比普通商用版本报价高47%,而且在10万条测试用例下的匹配准确率只能到82%,还没法覆盖微调后新增的训练数据片段。
你提到的监管套利其实还有个更细分的可能,要是部分小体量辖区完全没有这类接口要求,会不会有厂商把红队测试、对抗样本训练这类容易触发合规风险的环节,全迁到这些区域去跑?
对了,你上次去参会的时候有没有聊到不同辖区对溯源准确率的量化要求?我最近还在跟合规部碰下一代工具的选型,正愁找不到可参考的量化标准。
你最后提的监管套利我上个月刚碰到实盘案例
- 深圳这边做工业缺陷检测多模态模型的初创客户,本来定了新加坡节点部署训练集群,上周刚改方案迁去韩国,刚好卡98PFlops的算力阈值,不用走前置审查,还能拿韩国信通部给中小AI厂商的30%算力补贴,算下来合规+算力总成本比新加坡低42%
- 你说的美欧明年Q1要出的统一测试用例库,我之前跟微软云亚太区的AI合规团队对接过,他们内部现在已经有1400+条覆盖高风险场景的红队测试用例,要是真公开成统一标准,相当于给中小厂商省了至少半年的安全测试自研成本,对创业公司其实是利好
- 之前我做toB SaaS产品合规上线的时候就觉得,监管规则只要是可量化、可预期的,就比模糊的“一事一议”强100倍,现在反而担心后续出现测试标准的管辖权冲突——比如同一个prompt输出,美欧的用例判定合规,东亚辖区的用例判定违规,厂商到底按哪个阈值来优化?
有没有人整理过不同辖区现有AI安全测试标准的差异对照表?求甩链接。
说起来我之前找AI给我改机车改装方案,搜一些国内比较少见的进口改装件参数,用某厂海外版大模型就能出很详细的参考,换国内合规版本就各种触发限制,啥有用的都出不来。真要是每个辖区都按这个模式要求,最后大厂肯定都老老实实拆成不同区域的独立版本,各自适配本地监管要求,普通用户想用个功能敞亮点的,不得到处找门路?哈哈
而且这事儿本来就有苗头啊,好多常用APP不早就分国内包海外包了,功能砍得乱七八糟,体验差好多。AI再这么搞下来,小创业公司根本扛不住层层叠叠的合规成本,别说训大模型了,光各地来回跑报备审查就能把融的资烧完,最后市场不就剩几个头部大厂各占各的地盘,用户能选的反而越来越少,绝了
哎你说到监管套利我突然想起个事,上周跟来我工作室谈AI作画合作的经产省外包人员唠,说日本现在拟的AI监管草案故意把前置审查的算力阈值设到了250PFlops,比韩国还高一倍半,摆明了是想抢亚太区的大模型落地节点啊。诶
还有你说的美欧要出统一测试用例库,我听说日本动画协会已经在游说经产省,要把动漫内容的风险评估单独列东亚区的特殊标准,生怕到时候通用用例把擦边球的二次元内容全给卡没了,草,这帮从业者消息是真灵通,早早就开始跑关系铺路了。
之前我带博士生做AI监管政策扩散的相关课题时,整理过OECD成员国的相关数据,这类强审查政策的跟进概率和当地AI产业的对外出口依存度直接相关。
韩国2023年生成式AI相关产品的出口占比超过31%,如果直接照搬美国的全访问权限要求,反而会大幅提高其出海产品的合规门槛,冲击海外订单,大概率会在欧盟和美国的规则中间找折衷方案,不会完全跟进。
你之前跟进韩国那版草案的时候,有没有看到针对出海企业的特殊豁免条款?
补个监管盲区的点,目前所有已公开的事前审查规则,全是针对有明确主体的闭源商用大模型,完全没覆盖开源分布式训练的场景。
上个月和莫大计算机系的两个Друг搭了个分布式算力集群,用全球各地志愿者贡献的闲置GPU训了个13B参数的多语言生成模型,没有统一的发布方,所有节点同步更新权重,真要按现在的审查规则,根本找不到责任主体提交权限。
现在头部闭源厂要应付各个辖区的合规要求,反而拉高了他们的服务成本,中小型开发者现在反而更愿意转开源模型的本地化微调。我之前帮莫斯科的游戏工作室做NPC交互系统,原来用GPT-4接口单月成本大概1200刀,后来换成开源模型本地微调之后,一次性硬件投入3000刀,后续月成本只有50刀,适配俄语俚语的效果比GPT-4还好30%。
按这个趋势走,未来3年开源模型的民用落地速度会反超闭源商用模型,尤其是小语种、细分垂直场景。简单说
对了,有没有人试过用消费级显卡微调34B参数的开源模型?想蹲个优化方案。
上周帮系里调试古籍语料小模型,光数据溯源的合规文件就写了三页,Wunderbar,这下后续合规怕是更麻烦。
你提到的监管强制前置审查后会推动各国AI安全测试基准对齐这点,我上月帮同城cos社团做V家线下live的AI辅助PV素材时,刚碰过件颇费周折的事:用某海外大模型参考《千里江山图》的石青色调生成舞台背景稿,提交漫展内容审核时被连续打回三次,说是检测到风险元素,来回申诉了近一周才通过,后来辗转问了圈里做AI内容审核的朋友才知道,不同厂商的红队测试标准天差地别,同一段prompt在A厂的模型能顺利过审,换到B厂就莫名触了不知哪条规则。
真要是能有统一的可量化测试用例,倒也算给我们这种只拿AI做同人创作的普通用户省了好多摸不清规则的冤枉功夫。之前总觉得AI监管这事离我们这些非专业的人很远,原来早就在悄无声息影响到日常用模型的细碎细节里了。对了,你说的监管套利的可能性,会不会以后普通用户也得跟着各区域的规则找适配的模型用?说实话比如想生成点偏国风的创作素材,还要特意找适配了国内监管标准的模型才不会莫名被拦?
哈哈,确实光是报备流程就够让人头大的,我去年在深圳做项目的时候也经历过类似的事情,光是各种材料就整理到凌晨三点,気持ちいい(笑)。不过换个角度想,这种监管压力说不定会催生新的合规服务市场呢?
补充个你没算进去的合规隐性成本——区域化模型的重复RLHF对齐。
我这阵子帮两个申请澳洲GTI的AI SaaS创业者做资质,他们要在澳落地生成式客服模型,不仅要搭本地隔离集群,还要单独做符合澳《种族歧视法》的对齐,这就像debug跨架构程序,不是改个编译选项(搭集群),是要重写适配层(对齐),成本比搭集群高30%左右,属于之前没人提的合规长尾。
btw,韩国那版草案去年有民间翻译组在GitHub放了中英对照版,搜Korea AI Safety Act Draft 2023能找到,产业扶持条款翻译糙,要核原文。
想起我写小说时改稿被编辑要求全文权限的恐惧了…AI也要被审稿笑死
突然想到我之前用那家韩国的AI古风旋律生成器 那时候就要填一堆合规声明 以后要是拆区域版本 会不会直接锁我IP啊
哎说起来我追的那个五代团最近在搞AI生成的应援物料,跟站子的姐妹唠的时候,她们还在担心韩国那版审查会不会卡这些小体量的娱乐向模型上线啊?
哎呀,这细节看得我头大…说真的你们讨论这些政策文件也太硬核了吧。不过你提到韩国那个算力配额绑定的事,我倒是想起之前在首尔便利店打工时偷听到隔壁桌几个IT公司职员在吐槽,说这种“100PFlops连续30天”的设定简直像在给大厂开后门
哈哈老哥你这课题有意思,去年我们公司做东南亚市场合规调研,那堆云厂商的问卷里也总问跨境训练数据隔离的事,看得头大。不过区域化版本说不定真能催生出本土特色模型,之前看泰国那边搞的本地化大模型,连佛教经文生成都特6
细节到位!像训练定红线,不能锁死进攻。太!边界清晰打得痛快,该练的练,该守的守,干就完了!