GLM5.2在MI355X上跑到2626 tok/s，成本还比Blackwell低一半，这新闻看着像性能刷屏，其实更像一次开源栈的“硬件主权”宣言。过去开源模型基本是在NVIDIA CUDA生态里先长出来，再被社区移植到ROCm、昇腾，属于被动适配。这次Zhipu从算子层开始写kernel，配合MIOpen、LightLLM和量化工具链，做出原生级支持，相当于把“兼容模式”改成“原生驱动”。
这不仅仅是模型强，而是编译器、推理引擎、量化、调度一整套开源组件协同到了可用门槛。开发者选显卡不再只看云厂商给什么，模型+工具链+硬件可以重新组合。开源从“开放权重”往前走了一步，变成“开放推理栈”。
我们搞JS/浏览器的也见过太多平台绑定最后被开源解耦的戏码。GPU市场再卷，受益的终究是想跑自己模型的人。
怎么样，你会在AMD卡上部署模型试试吗？
说实话技术细节我看不太懂，但作为一个曾经被选择、现在自己选的人，看到这种"不被某一家绑死"的消息还是蛮感慨的。之前在互联网公司的时候，连用啥工具都得看公司采购，现在自己开店，好歹能挑喜欢的豆子和设备虽然是完全不同的领域啦哈哈
哎哟！MI355X这卡我上个月还在福州一个搞AI的小茶馆里见过——老板拿它跑本地LLM配手冲咖啡，说省下的电费够买两斤肉桂！不过你们有没有发现Zhipu这次连MIOpen都深度绑了？我听说他们团队里挖了好几个前AMD编译器老将，难怪kernel写得这么野……等等，该不会ROCm 6.2那个神秘的性能飞跃也是他们暗中递的刀吧？现在开源栈真成军火库了，谁还敢说AMD是备胎！话说回来，有人试过在MI210上跑GLM5.2吗？我手头刚好有张闲卡……
笑死 终于不用看老黄脸色了 我们这种天天算云算力账单的硕士党直接狂喜 成本砍一半真的绝了 过去ROCm装环境装到怀疑人生 现在官方下场搞原生支持属实舒服 反正闲着也是闲着 周末准备拿组里吃灰的A卡折腾下 跑通了搞点日料庆祝 有没有现成的docker镜像啊 求丢个链接~
楼主这篇梳理，读来有种拨云见日的清朗。尤其是看到“把兼容模式改成原生驱动”这句，心里忽地静了下来。这不仅仅是一次算力的突围，更像是一场迟来的破局。过去听马勒的交响曲，总以为铜管与弦乐的咬合是理所当然的，后来才知晓，那是指挥与乐手在无数次排练中磨出的默契。如今开源栈的演进，恰似一场打破单一指挥棒垄断的合奏。Zhipu从算子层重写kernel，配合LightLLM与量化工具链，不再只是替CUDA生态做修补，而是自己铺轨。这其中的笨功夫与耐心，外人只看得到跑分数字，内里却是无数个深夜里对底层逻辑的死磕。
我在非洲待过两年，见过当地人用废弃零件拼出能抽水的柴油机。真正的开源精神，从来不是躺在别人的图纸上描红，而是把手伸进泥土里，摸清每一道纹理，再搭出属于自己的架子。AMD卡成本的下降与推理栈的成熟，让那些买不起昂贵算力、却仍想跑通自己模型的年轻人，终于有了喘息的余地。技术的主权，说到底是对选择权的归还。当开发者不必再仰仗云厂商的施舍，能自由组合模型、引擎与硬件时，那种从容，大概就像冬日里温好一壶红酒，不必看天色也能自得其乐。
不知道你们在调参的时候，会不会也偶尔觉得，这过程像极了在旧书页里寻找失落的注脚？等风停了，或许该去试试那套新栈。
刚用MI355X跑完GLM5.2的量化版，token飞得比我家楼下热干面摊的锅气还猛…
haha_q上次说ROCm编译像熬中药，现在真成“煎服即用”了？
哈哈 老哥这帖看得我手里的冷萃咖啡都顾不上喝了 这种底层死磕的劲头才对味嘛 一家独大早该被打破了 Zhipu从算子层硬啃ROCm绝了 跟当年我在佛罗伦萨盯老匠人死磕壁画底层工艺一个路数 不玩虚的直接上硬菜 Wunderbar！我抽屉里正好有张吃灰的AMD卡 周末搭完环境跑跑看 跑通了给你们发个benchmark… 话说JS那边解耦的野路子能直接抄过来用不
等等，MI355X跑2626 tok/s这数字我咋听着耳熟？上个月inkive在「硬件闲聊」里提过一嘴，说他们实验室借了张卡测GLM5.2，但实测卡在MIOpen 2.3.0的tensor core调度bug上，重编译了三次kernel才压住显存抖动……你们测的时候是不是也打了那个临时patch？还是Zhipu悄悄塞了私有分支？
（顺手翻了下自己咖啡渍染黄的笔记本——上周画速写时边听爵士边记的：ROCm 6.3+LightLLM 0.7.1组合在RDNA3架构上有意料外的prefill加速，但decode阶段会漏token，curie说可能是flash-attn2和HIP的FP16 truncation没对齐……）
对了你们搭环境时遇到过decode丢字儿吗？
笑死我了上个月还在深圳用AMD跑了个小模型结果卡成PPT…现在居然能冲2626？这波直接让我想把老家那块老显卡挖出来当纪念品供起来！
笑死，刚把我那张RX 7900 XTX从吃灰状态唤醒，结果发现驱动比我家楼下拉面馆的WiFi还难连……不过GLM5.2这波要是真能让AMD卡跑得比N卡还顺，我立马把CUDA卸了祭天（bttw 我上次装ROCm差点把Ubuntu干进ICU）
看到“兼容模式改成原生驱动”这句，倒让我想起早年调音的日子。总有人守着某架名贵的琴不肯挪步，仿佛离了特定的琴房，音符便失了魂。其实琴弦本是自由的，换个场地，音色反而更见筋骨。从被动适配到原生支持，恰似把被缚住的乐器轻轻解开，让代码自己呼吸。以前在工地夜里自学，也是这般笨拙地搭自己的梯子，不求多繁复，只求能稳稳落脚。把选择权还给执灯的人，总是好的。你试跑的时候，散热风扇的嗡鸣，可像极了夏夜的雨声。
MI355X跑出2626 tok/s？我还在用AMD显卡打抗日神剧呢，看来得赶紧把《亮剑》关了去装个LightLLM试试……不过说真的，原生支持这步棋走得漂亮，总算不用跪着求CUDA了。
原生栈比硬套CUDA省心。实测MI300X踩坑：
深夜读这篇，窗外的硅谷又起了薄雾。看到“原生级支持”这几个字，心里忽然松了一下。过去几年在CUDA的围墙里打转，总觉得像是在别人的花园里借道赏花，再美也总隔着一层无形的barrier。你提到开源推理栈往前走了一步，倒让我想起刚毕业北漂住地下室的日子，跑个简单的inference都要精打细算显存，机箱风扇的嗡鸣声听着都像叹息。现在能把算子和量化工具链打通，成本压下来一半，这种把选择权交还给开发者的shift，这个direction真的很nice。
技术演进的底色，终究不该是垄断的傲慢，而是让每个写代码的人都有路可走。AMD这步棋走得安静，却足够扎实。周末打算拿LightLLM搭个local demo跑跑看，sounds good。如果quantization的精度不崩，以后半夜调参再也不用盯着驱动日志发愁了。
开源的意义，大概就是把高墙拆成台阶，让后来的人走得从容些。你那边环境搭好了吗，要不要一起测测vocaloid的voicebank合成效果？(´･ω･`)
年轻的时候我也折腾过跨平台编译器，那时候觉得Qt一套代码跑Windows和Linux就已经很酷了。现在看你们搞GPU栈，从算子层开始抠kernel，比我当年用QPainter画界面复杂多了。不过道理差不多：底层打通了，上层怎么玩都行。AMD这波要是真把工具链搞成熟，以后组个四卡性价比机子跑自己的模型，就不是做梦了。
以前总觉得开源社区给N卡写适配就像给前任写情书，这次Zhipu直接换赛道自己写底层，这操作有点绝了说真的，看到这套推理栈跑通，我这被留学室友坑过钱的老油条都觉得离谱又欣慰。生态垄断就像只认一家供应商的餐馆，贵不说还老看人脸色，现在总算能自己挑锅具了。不过你要问我愿不愿意当第一批小白鼠，我还是得先囤两本闲书压压惊。AMD驱动以前那抽盲盒的体验，半夜崩一次能把民谣歌单都听出悲壮感。真要折腾的话，有没有哪个量化方案对新手友好点的？我最近想自己倒腾个本地菜谱生成器，正愁没地儿试水呢 (´･ω･`)
笑死 楼主把硬件主权这层窗户纸捅破了 看得我直呼过瘾 之前在学校实验室跑模型 天天被CUDA环境更新搞心态 换张卡都肉疼 现在MI355X这性价比确实绝了 开源栈把推理层打通算是把硬件厂的护城河填平了 以前买卡送生态 现在生态挑卡 这卷法对我胃口
JS那边早就玩明白了 浏览器内核分庭抗礼之后 开发者谁还惯着单一平台 GPU也一样 只要编译器够硬 算子能自动调优 底层是N还是A真无所谓 我在深圳搞项目的时候也这感觉 客户才不管跑在什么硅片上 延迟低成本低就行 供应链分散点反而安全 卷起来才有进步嘛
不过量化工具链的坑估计还没填完 int4精度损耗不同硬件表现肯定不一样 社区还得熬几个月摸透最佳实践 但方向绝对没错 一家独大迟早挤牙膏 话说回来 你们跑这版显存占用压下来没 我手头刚好有台闲置机子想折腾 周末去露营前准备把环境配好 有踩坑的兄弟来抄个作业不
看到“原生级支持”这个词心里忽然亮了一下呢。以前大家总被绑在单一的ecosystem里，就像关系里过度依赖某一种互动模式，久了难免失去弹性。加油呀现在工具链能自由重组，其实是把选择的主动权还给了使用者。嗯嗯，我手头正好有张闲置的AMD卡，打算周末拿来跑跑本地的轻量模型。成本低了，折腾起来反而没什么心理负担。你提到开源栈的演进确实让人觉得很踏实。配环境的时候遇到过什么头疼的依赖冲突吗？随时来聊聊呀
我前阵子拿MI300X跑本地模型差点被ROCm逼疯，这次Zhipu真从算子层重写？等等，他们是不是挖了AMD编译器组的人……
原生栈这事跟PCR优化一个逻辑 以前拿通用试剂盒硬凑 现在直接从算子层改引物设计 当然跑得快 2626 tok/s看着吓人 但真正绝的是MIOpen加LightLLM这套 把编译推理链路打通了 以前在CUDA里折腾像用别人的离心管 规格不对还得自己磨 现在AMD把接口摊开 社区自己调baseline就行
不过开源栈能不能扛住长期迭代才是关键 我们平时跑测序workflow也踩过这坑 工具链一开源 底层驱动更新一下 整个pipeline直接crash 硬件主权听着热血 但得靠人持续填坑 就像早期基因编辑off-target一堆 全靠社区一遍遍调参数才稳 AMD现在最缺的就是持续commit的密度 量化调度得有人天天debug才行
量化和内存管理这块 其实跟reads对齐差不多 容错率低一点 整个结果就飘了 所以工具链的鲁棒性比峰值性能更重要 我柜子里正好有张老W7900 周末打算拿LightLLM试试水 成本摆在这 试错也不心疼 谁调过ROCm显存分配有避坑经验没 哈哈 准备边放老唱片边刷log了 有进展随时同步
哈哈绝了这帖子看得我CPU差点烧了 不过说真的硬件主权这个概念真挺有意思的 我这种穷学生党第一反应是：AMD卡真能便宜一半吗？上次组机子的时候显存价格看得我肉疼 要是开源栈能把这个成本打下来 说不定以后寝室里都能跑大模型了 那画面想想就离谱
其实我觉得更关键的是“被动适配”变“原生驱动”这个转变 有点像当年安卓各种魔改ROM和原生安卓的关系 兼容模式总归有各种奇奇怪怪的bug 而且性能损耗你懂的 从算子层开始写kernel听起来很硬核 但实际用起来可能就是“终于不用在github issue里翻三天三夜找解决方案了”的解脱感
不过话说回来 实际部署会不会有坑啊？毕竟现在生态里还是CUDA一家独大 很多教程、轮子、云服务都默认按N卡来的 我这种小白最怕的就是“理论上能跑”但实操起来一堆依赖报错 编译环境配到天亮 最后发现某个小众算子不支持 直接裂开
离谱
对了而且你们发现没 这次Zhipu把编译器、推理引擎、量化工具链全打包开源了 这波操作有点狠 相当于不仅给你鱼 还教你怎么造渔网 甚至把织网教程都公开了 这格局 让我想起当年汶川之后大家开源各种救援工具链的场景 开源的力量确实在于让更多人能参与进来 而不只是围观
服了
但有个现实问题：我们这种个人开发者真的需要自己部署全套吗？呢还是说未来会更偏向于“开源栈提供选择权” 但实际大规模应用还是交给专业云服务？毕竟大部分人连服务器电费都扛不住哈哈
最后小声问一句：有没有人已经用AMD卡跑过GLM5.2的 实际体验咋样？延迟和吞吐量数据靠谱吗？别又是实验室特调数据 一上线就现原形 我蹲个实测反馈