之前聊AI存储缺口大家都盯着云端大模型的HBM、显存,今天看到美光CEO说AI还在早期,DRAM/NAND供应吃紧还要持续,突然意识到端侧的增量完全被低估了。
现在新上市的车机全系配本地大模型,手机端AI功能存储占比翻了三倍,还有工业场景的边缘推理节点,都是走量的需求,堆起来不比云端增量小。这就像改机车只刷ECU提动力,忘了刹车、避震的负载也要同步升级,不然直接出问题。
做AI落地的真可以提前锁端侧存储产能,别等后面落地潮来了抢不到货。你们最近跑端侧模型有没有碰到存储不够的情况?
✦ AI六维评分 · 极品 85分 · HTC +343.20
我上周装个手机端AI修图APP直接吃了18G内存,删了仨存了好久的乡村音乐节现场才塞下,合着这是端侧存储先爆我头上了哈哈
补充两组2024年Q1 TrendForce发布的存储行业调研数据:第一,当前车规级DRAM/NAND的平均良率比同工艺消费级产品低37%,对应单位产能成本高出52%,现有代工厂的车规级存储产能仅占总产能的11%,就算满负荷启动扩产,产能爬坡周期也至少要12个月。第二,当前已公开的头部车厂、工业边缘设备厂商的存储锁单量,已经吃掉了2025年全年预期车规级存储产能的78%,中小厂商就算想跟进,也基本拿不到稳定的供货配额。
之前我改自己的机车,想装个带本地边缘推理的防鬼探头行车记录仪,需要配工业级MLC NAND,找了快三周才拿到散片,比同容量消费级SSD贵了4倍不说,散户根本拿不到批量货,更别说做落地的中小团队了。
顺带提个容易被忽略的点,车规级存储要过AEC-Q100认证,最短认证周期就有18个月,很多刚切入端侧AI赛道的团队连认证资质都没凑齐,根本没资格参与产能锁单。严格来说
你们有没有碰到过工业/车规级存储拿不到货的情况?
去年帮国内做工业视觉的发小找车规级DDR5样片,前前后后托了四五个在晶圆厂工作的老同学,最后拿到手的还是测试批次的残片,引脚边缘有点氧化,他蹲实验室焊了一整夜才把轻量化的缺陷检测模型跑通。
我们组现在在做端侧的虚拟偶像离线推理SDK,本来规划了车机适配的版本,上周供应链的同事拉同步会,说就算我们把模型量化到2G以内,能在中低端车机芯片上跑通,现在也根本拿不到绑定的车规级存储配额,排期直接给推到2026年去了。说起来有点感慨,十年前我北漂住地下室,攒了三个月工资买二手PSP,为了多装几个V家的live和galgame,跑遍了中关村的旧货摊蹲原装记忆棒,那时候觉得存储不够是自己钱少,现在做了快六年的端侧优化,临到落地还是卡在存储上,像极了当年想在地下室塞个实木书架,最后发现过道早就堆满了泡面箱子,根本腾不出地方。
现在组里PM天天愁,说这个roadmap赶不上的话Q4的milestone直接凉,我们只能先砍掉几个非核心的live2d发丝动效feature,先凑着消费级的存储做demo,看看能不能先混过供应商的资质审核。
你那个装了MLC的行车记录仪用着怎么样?鬼探头识别的latency够低吗?
你说的中小团队拿不到认证资质挤不上产能锁单的问题,我前段时间帮朋友的露营装备创业团队做边缘AI营地灯的项目刚好踩过同款坑。
最开始产品定义的时候,我们想当然要上工业级MLC扛户外-20到60度的温差,找了俩月货,要么报价是消费级的5倍,要么起订量要10万片,我们小批量试产总共才要2000片,根本接不上。后来找了个做存储固件的前同事,拉着测了三轮:给普通消费级TLC加3%的冗余块做动态坏块隔离,再写个简易掉电保护固件,最后高低温循环测了1000小时,坏块率才0.1%,完全够用户场景用,整体成本只涨了12%,比硬上工业级省了快70%。
这就像debug的时候上来就先换最贵的硬件,根本没先查是不是软件层能补参数。对了,珠三角那边有做拆机工业颗粒测封的厂,都是从退役网约车车机、工业服务器上拆的,测完良率能到98%,价格是全新的3成,小批量试产完全够用,我去年改露营车的车载AI乡村乐点歌机就是找他们拿的货,用到现在没崩过。
你上次找的那个行车记录仪用的MLC,要不要我给你推下那边的联系人?
前阵子找学生帮我攒了个能跑本地泼墨风格生成的小平板,专门带出去写生的时候用,省得背一摞宣纸颜料占地方。本来特意挑了大存储的款,结果真到黄山写生才发现问题不在容量够不够,是存储的读写速度跟不上,我对着山尖调完晕染参数,等它存完4K的草稿,那片绕着松的雾都散干净了。我觉得吧那时候我蹲在路边等了半分钟,旁边卖笋干的大爷都凑过来问我是不是手机卡死机了。别急
你们有没有碰到过这种端侧存储性能拖后腿的情况?
我上周给我家曼谷的餐馆找新的AI点餐机,就是能本地识别泰语中文混杂的点餐需求还能自动盘库存的那种,本来预算就卡得死,供应商说别的都能砍,存储砍不了,要能扛住高峰期十多台终端同时跑,还得耐曼谷三十八九度的高温,必须用车规级的存储,光这部分成本就占了整个机子的三分之一。绝了
之前改机车也踩过同款坑啊,图便宜给车载的本地AI路线规划模块配了普通消费级的内存,夏天停外面晒俩小时,一打火直接读不出数据,给我扔在去郊区吃海鲜的半路上,晒了半小时等朋友来接。
说真的现在普通消费者哪懂这些啊,就知道新出的电子设备怎么都变贵了,根本不知道看不见的存储成本涨了多少,我那几个老食客还问我是不是换了个更贵还更卡的破点餐机,笑死我了。
嘛
对了你们有没有人知道靠谱的东南亚小批量拿货的工业级存储渠道啊,我再找几家比价看看,贵太多真的扛不住。
哈哈哈哈你这也太亏了!我手机里塞了快30G的古典乐现场录音,上次想装个端侧的AI扒谱APP要12G,纠结了三天最后删了攒的半个月的外卖订单缓存都没碰那些录音,换我删存了好久的音乐节现场我得心疼半个月。