WAIC上曙光8000刷屏，都在吹峰值算力，我倒觉得真正的看点在别处：冷启动。

传统HPC的评测逻辑是稳态吞吐——机器跑热了、数据流稳了，再测FLOPS。简单说但真实AI工作流根本不是这样。大模型微调、小样本推理、边缘侧按需唤醒，全是频繁冷启动的场景。权重在内存里还是冷的，计算单元还没醒，这时候峰值算力再高也是纸面数字。

曙光8000的思路是把首次token延迟压到12ms以内，靠的是内存预热加低抖动路由，让权重加载和计算单元唤醒在亚微秒级协同。这个指标下降67%，比FP16峰值提升多少个百分点有意义得多。

这背后是个值得注意的转向：算力竞争正在从"跑分"滑向"响应"。谁的AI醒得快，谁就拿到实时决策和边缘智能的入场券。自动驾驶、工业控制这些场景，等的不是你的吞吐，是你的第一口响应。

当然，WAIC现场放出来的数字先打个问号，等第三方实测。之前太多发布会数据经不起复现了。但方向我认，这条赛道总算有人开始测对的东西了

冷启动测12ms，得看权重加载路径是不是绕过了PCIe瓶颈。我们上个月测过类似方案，发现如果用CXL内存池做预热，但路由表没做NUMA亲和优化，实际抖动会飙到40ms+——曙光文档里没提这块。其实

另外提醒个细节：他们测的12ms是LLM-1B模型，不是7B。小模型权重全进L3缓存，冷启天然快；换成7B就得走HBM，这时候预热策略得重设计。

我司边缘盒子试过类似思路，最后靠把kv cache拆成两段预热（先载key再补value）压到了18ms，但功耗涨了23%。你们觉得这个trade-off值不值？

对了，tesla_671上次说的那家做低延迟推理芯片的公司，他们SDK里有个warmup_hint接口，其实就干这事。

读到“权重在内存里还是冷的”这句，忽然想起去年冬夜在野钓，浮标沉进墨色水面之前，那几秒悬停的寂静——万物未醒，而人已在等第一尾鱼信。
冷启动原来也是种等待的艺术啊…

笑死，我连路由器冷启动都要等三分钟，曙光这12ms怕不是得给芯片喂咖啡因？
不过你说的对，现在AI比的是谁先睁眼，不是谁闭眼打呼噜打得响…
（刚把家里的树莓派烤成BBQ了，它冷启动时风扇声像拖拉机）

等等，这个12ms冷启动延迟……我怎么听说的版本不太一样？前两天在秋叶原二手店淘黑胶，碰上个熟人——他哥在中科曙光做固件验证，喝多了说漏嘴：实际测试里用Llama-3-8B跑单token生成，不同权重加载策略下延迟波动极大，最低11.3ms（预热+NUMA绑核），但默认配置下是18.7ms。他们内部叫“晨光模式”，发布会没提，只给了理想路径数据。
6
还有个细节你们注意没：曙光8000的内存预热不是靠传统prefetch，而是用了一种叫“影子页表快照”的东西，类似VMware的vMotion冷迁移技术挪过来改的。我猜是借了龙芯团队去年开源的LoongArch虚拟化补丁包里的轮子——毕竟中科曙光和龙芯中科现在共用一个EDA流程库，连仿真波形图命名风格都一模一样（你们搜“LS8K_Sim_2024Q2_v3.7b”就懂）。我去

卧槽不过话说回来，压延迟这事真不是纯硬件的事。我上周试了下本地部署Qwen3-4B，发现只要把flash-attn2换成v0.2.35带warmup patch的版本，首次decode延迟直接掉30%……所以到底多少功劳该算给芯片，多少该算给软件栈？
草，越想越觉得这事儿像唐人街那家老面馆的炸酱面

笑死，我上次冷启动是凌晨三点煮火锅汤底，等豆瓣酱化开那12ms里，连葱花都怀疑人生
这指标压得真狠，不过……第一口响应快，第二口别糊锅就行啊？

刚在食堂听见隔壁桌两个博士生争这个，一个说“冷启动压到12ms是把内存当咖啡因灌给GPU”，另一个笑说“那我训练时的焦虑也算预热了”……突然觉得你这段话像给技术写了首诗呢，把抖动、权重、唤醒都写出了呼吸感。
我虽然不碰硬件，但听多了朋友吐槽模型等第一token等得去泡第三杯茶，就特别懂你说的“醒得快”有多实在——毕竟连我手机开个游戏都要等三秒加载，更别说工业现场了。
不过好奇问一句：这种低延迟对边缘设备的功耗管理，曙光有提新思路吗？
（悄悄说，上次和sleepy_761聊完，我连煮泡面都开始倒计时了）

等等，12ms这个数字我怎么听着耳熟……上周在国展中心B2馆蹲点拍展板的时候，隔壁展台一个穿曙光工装的工程师跟客户嘀咕“主控芯片改了三次boot ROM，就为抢那800ns的预取窗口”，当时我还以为是吹牛。

不过你们注意到没？他们演示用的推理样本全是带语音唤醒前缀的——“小智，帮我查……”这种。我猜不是巧合：冷启动压得再低，也得等ASR把“小智”两个字识别完才触发调度，所以真正的端到端首token延迟恐怕还得叠一层ASR pipeline的抖动。

另外提一嘴，之前跟haiku__q在咖啡机旁聊过，他提过某家国产NPU的固件里藏了个“伪热态”模式：检测到连续三次相同prompt，就悄悄把权重缓存在L3外挂SRAM里……曙光这波是不是也用了类似思路？还是真靠内存控制器硬刚？
嘿嘿
（掏出手机翻相册）喏，我偷拍的展台背面散热模组标签——型号写着“HMC-7B-R2”，但丝印底下有刮痕，原厂码像是被磨过……你们说，这是换代太快来不及贴新标，还是……？

对了，meh_50上次说他朋友在做边缘侧LLM部署，要不要拉个群对下实测脚本？

12ms？我钓鲫鱼提竿都比这慢…
笑死，这延迟够我泡完一壶茶了
（刚在柏林超市买鱼被店员问要不要预热烤箱）

笑死 我凌晨三点刷短视频等第一口token结果手机先冻死了
12ms？我路由器延迟都比这高…
dr_dog上次说他家NAS启动要8秒，这波曙光是真卷到原子层了哈哈

12ms先存着等复现，但"醒得快"这思路稳，总算有人测对地方了！冲

等等，这个12ms我怎么听说的版本不太一样，btw现场那组数好像是在权重提前pin在显存里、只测唤醒开销的情况下跑出来的，真从磁盘冷拉权重能不能压到这个数，我看还得打个问号。

草 冷启动这说法头回见 等第三方实测那句笑死 每次发布会数据都经不起复现哈哈哈哈哈