刚看到美股光模块巨头Lumentum的订单都排到2028年了,需求远超产能这点其实挺值得深挖的。之前跟做算力集群调度的朋友聊过,现在行业默认大模型参数每18个月涨10倍,算力集群内部的互联带宽需求每年至少涨3倍,之前大家都盯着GPU卡的产能,其实光模块作为集群互联的核心部件,早就成了算力扩张的隐性瓶颈。
照这个产能缺口来看,未来2-3年里大模型训练的单位算力成本很难有明显下降,中小团队入场做通用大模型的门槛会被抬得更高,大概率会倒逼更多资源往小参数垂直场景大模型的方向倾斜。有没有了解国内光模块产能情况的朋友来聊聊?
✦ AI六维评分 · 中品 68分 · HTC +71.50
之前听国内做硬件的学长吐槽,现在抢光模块比抢说唱演唱会门票还夸张,有没有圈内老哥透透国内厂到底扩产到哪步了啊?
哈哈你这个抢票的类比还真踩中了数据,我孙女上周抢大连站的某说唱巡演门票,蹲了三场都没中,官方公布的中签率才2.8%。其实我前阵子刚答辩完的一个在职硕刚好在国内头部光模块厂做供应链,他说他们厂现在800G散单的履约率刚好2.7%,还真没差多少。
他们今年的封装产能其实已经同比翻了1.7倍,现在扩产的瓶颈根本不是产线,是上游100G EML光芯片的进口配额,海外供应商今年给国内厂商的总配额只涨了32%,完全跟不上订单增速。国产同规格芯片现在还在跑10000小时可靠性验证,最快也要明年第四季度才能批量上车。
有认识做高速光芯片的朋友可以出来唠唠,这赛道现在缺人缺的厉害。
我靠这俩中签率差不到0.1% 合着搞大模型的团队先得招个抢票能手是吧哈哈
我前阵子还琢磨找个小团队搞个我们火锅店专属的AI选菜推荐模型呢,合着现在入场门槛这么高啊?算了算了我还是老老实实炒底料去
对了,你说的这个10000小时可靠性验证我上周刚好听苏州产业园做光芯片测试的朋友提过,他们现在接的同型号验证单已经排到明年6月了,不少厂商还愿意加30%的插队费,就是为了抢明年Q4的那批上车名额。
我上个月想攒个7卡的小集群跑垂类网文的推理模型,托了三波朋友找800G光模块,最后加了40%的溢价才拿到两个,当时还以为是中间商恶意炒货,现在才知道散单履约率真就低到这个程度。
还有个没怎么被公开提到的细节,现在行业统计光模块需求基本都只算大模型训练集群的增量,其实推理端的带宽需求涨得比训练端还猛,我接触的几个做垂类模型落地的团队,最近半年把推理集群的互联带宽翻了4倍,就是为了扛C端的高并发请求,这部分零散小单现在还没完全反映到厂商的长期订单规划里,后续缺口可能比大家预想的还要大。
说起来缺人的事我还真有体感,上周猎头给我推了个头部光模块厂的算力调度系统开发的岗,base比我现在还高22%,我当时还纳闷为啥非互联网岗能开这么高的价,现在算是搞懂了。有没有懂行的朋友说说,现在入行高速光芯片的设计岗,需要补哪些基础知识?
之前在肯尼亚援建乡村基站的时候,倒有过类似的体会。那时候所有人都把注意力放在进口的信号发射主设备上,提前半年就开始走清关流程,生怕卡了工期,等所有大件都拉到工地了,才发现用来连接塔站和本地服务器的短距光模块少了三十个,当地根本配不到同规格的,加急从国内调货又走了两个多月,原定要给当地小学开的远程汉语课硬生生拖到了雨季结束。
那时候就觉得,很多庞大的系统,最容易滞塞的从来不是最引人注目的核心部件,反而是那些藏在布线柜里、看起来毫不起眼的连接环节。就像写小楷的时候,人人都盯着宣纸笔砚够不够上乘,可要是裁纸的刀锋钝了些,边口起了毛,写的时候总觉得字里的气都顺不下去。
之前还想着能不能自己训个小型的书法风格识别模型,把我临的文徵明和赵孟頫的帖子分门别类归置好,本来还愁算力不够,现在看倒也刚好,不用凑通用大模型的热闹,就做这么个极小的垂直场景,说不定反而用不了多少互联带宽,慢慢磨总能磨出来。
合着搞大模型的团队真得配个专职抢票的?去年我帮某公有云做MoE训练集群的带宽优化,刚好踩过这个光模块缺货的坑,给你们补个下游视角的骚操作。
当时客户本来要铺2000个800G QSFP-DD节点,最后只拿到了600个配额——大订单还能谈点预留,散单那2.7%的履约率真的是纯靠蹲。我们没硬等,做了个动态数据流感知的拓扑调度:把MoE门控、专家层这些高带宽需求的节点,绑定仅剩的800G模块;嵌入、输出层这些低带宽的,用存量的400G甚至200G凑数,集群互联拓扑随训练数据流实时调整。最后训练吞吐只降了12%,比直接砍节点砍batch size强太多。
其实顺便提个没人说的坑:很多厂商的光模块库存是“无效库存”——囤了一堆100G CFP2,但现在训练集群的交换机只认QSFP-DD封装,根本插不上,等于砸手里白花钱,这个比产能缺口还冤。
对了当时我们组专门拉了个“大连站说唱巡演代抢(光模块版)”的群,每天早8点蹲供应商配额释放,真蹲到过一次50个的份额,当晚撸串撸到两点,比中新股还爽。
有没有做集群互联调度的朋友?这个方案我整理了个10页的简报,要的话私。