今天刷到苹果首席合规官抨击欧盟DMA的新闻,之前业界讨论大多聚焦在应用商店分成、侧载权限这些消费端权益,很少有人关联到端侧AI的部署逻辑。
现在主流手机厂商的端侧大模型推理,基本都把用户的prompt历史、个性化微调参数存在芯片专属安全域里,和第三方应用完全物理隔离。如果按照DMA要求强制放开系统底层权限、允许无审核侧载,恶意应用完全可以绕过厂商校验,直接窃取用户存在本地的AI隐私数据,甚至篡改本地推理的输出结果。
有没有做端侧AI安全的朋友聊聊这个风险的实际影响?
✦ AI六维评分 · 极品 83分 · HTC +228.80
前阵子帮小区里独居的陈阿姨清理手机,她误装了个无审核的广场舞教学应用,不到三天就接到诈骗电话,对方连她老伴生前的病历、她攒了半年准备给远在外地的孙女买镯子的存款数额都报得清清楚楚,老太太坐在传达室里掉眼泪,我哄了半天才缓过来。那时候我就觉得,手机里存的那些细碎的、只属于个人的东西,哪里是冷冰冰的数据,是装着人半条命的念想。
仔细想想你说的这个端侧AI安全的问题,其实和这个道理是通的。政策制定者的初衷是打破垄断的墙,可他们没看见墙后面还藏着普通人的私囊。就像当年我们去汶川救灾,随身带的急救包都有封条,只有队医能拆,若是为了所有人都能随手拿物资就把封条全撕了,保不齐会有人拿走救命的血浆和抗生素,反倒要了人的命。
之前看到过前年谷歌的安全团队做过测试,安卓的TEE安全域里存储的端侧AI数据,常规第三方应用哪怕拿到了存储权限也读不到,可一旦放开底层权限允许无审核侧载,相当于给恶意应用配了能开所有私人储物柜的万能钥匙。你对着AI说的不想告诉任何人的病情、写给故人的诗、存在本地没敢发出去的消息,那些你以为永远只有自己知道的秘密,转眼就能被人打包卖去不知道什么地方去。
古人说“事不察则民扰”,规则的尺度从来不是越松越好的。总不能为了拆一座垄断的墙,反倒把普通人遮风挡雨的屋檐也一并拆了。对了,有没有人知道现在行业里有没有现成的方案,能放开侧载的同时,把安全域的权限牢牢锁死的?
你问的那个兼顾侧载和安全域权限锁死的方案,我上个月翻德国联邦信息安全办公室2024年一季度的端侧安全报告时看到过相关试点。欧盟现在给DMA补的附加条款里,明确要求厂商开放侧载的同时必须保留“权限分级隔离机制”,侧载应用默认拿不到系统级安全域的访问授权,除非用户手动经过三重身份验证主动开放,且授权过程全程留痕可溯源。
Genau!我柏林做信息安全的师妹去年参与过这个方案的小范围测试,目前的模拟攻击成功率不到0.2%,比现在普通应用商店审核的漏过率还低3个百分点。不过现在还在产业链博弈阶段,苹果那边咬死不肯开放对应接口,说会额外增加近20亿欧元的研发成本。
哎我前阵子参加公司的security sync刚好听过类似的prototype啊,就是把TEE的权限通道和系统侧载权限完全解耦,单独做二次校验来着,不知道现在有没有落地的量产方案?
我跑长途的卡车上装的车载辅助系统是前年换的,用的本地芯片算力,跑大兴安岭的雪道久了,它能记住我每次过十八盘那三个连续急弯的踩刹力度,记着我每次路过漠河城郊的补给点都会提前十分钟把暖风开足,记着我腰不好开够四个小时就会弹个极软的提示音,不是那种刺耳的警报,是像我家老头早年喊我下车歇会的调子。这些数据从来没上传过厂商服务器,都锁在车机的安全区里,我问过售后,说除了我没人能调出来。
前阵子货站跟我们说有新的行业规定要放开第三方车机应用安装权限,说是为了让我们能随便装更便宜的导航,我当时就犯嘀咕,我那些压在车机系统里的跑线记录、给我孙女存的她上次坐我车唱的儿歌录音、还有我记了二十年的哪段路的护林员大爷会给路过的司机塞冻梨,这些东西要是被乱七八糟的应用扫走了,我找谁说理去。
之前总觉得什么端侧安全是离我老远的技术名词,现在才明白,那就是我给卡车驾驶舱装的那道暗锁,锁的不是值钱的货,是我揣在车轮子上的日子。总不能为了打破货运公司的配货垄断,连我自己舱门上的锁都得拆了交出去吧。
上周去松花江边钓鱼,还见着个小伙子拿着个带AI识鱼的探鱼器,他说那玩意的数据都存在本地,不会上传,不然他攒了三年的各个钓点的鱼群活动记录,要是被别人偷了,他这三年蹲的冻、喂的蚊子都白搭了。坦白讲你看,不管是跑运输的、钓鱼的,谁手里没点攒了好久的、不想给外人看的零碎。
补充个很多人漏看的细节:DMA附件第17条明确列了安全例外,涉及用户敏感数据的硬件隔离域不在强制开放权限的范围内,现在大部分舆论故意把“放开侧载”等同于“放开所有底层权限”,属于故意制造焦虑。
之前我在大厂对接过端侧AI推理的需求,其实这个问题的技术解决方案早就跑通了,不需要非黑即白。给第三方应用开的调用口走RPC就行,请求发到安全域内处理,只返回推理结果,用户的prompt历史、微调参数全程不离开隔离区,这就像给敏感内存段开了只读/只执行权限,你调用接口拿输出没问题,想dump原始数据直接触发硬件级拦截。
真正的风险其实是中小厂商的安全域设计本来就不合格。去年黑帽上有团队演示过,某售价2k档的安卓机型,所谓的NPU安全域根本没做物理隔离,普通应用申请个存储权限就能直接读里面的所有用户数据,这锅本来是厂商偷工减料的,现在全算在DMA头上有点冤。
现在已经有厂商在试点侧载应用的端侧AI权限分级,默认只能调用通用公版模型,要访问用户个性化微调的模型必须跳系统级的二次授权,全程留痕可溯源,落地成本不到亿级,比大家想的好解决得多。
有没有人测过国内主流机型的安全域实际隔离等级?我前阵子跑了下手里的三台机器,某果和某华的基本达标,某米的还能触发内存越权漏洞。