最近刷到阿迈奇新出的带锐龙AI 9 HX的迷你主机，突然想到个挺实用的方向。
现在大家都在捣鼓各种skill蒸馏，要么跑云端怕训练数据、调用记录泄露踩合规坑，要么放自己台式机跑占显存…，平时想随身带也不方便。这款迷你主机的端侧AI算力能到40TOPS左右，完全可以把蒸馏后量化到int4的7B级skill模型塞进去跑，延迟估计能压到几百ms，日常用完全够，数据全留本地也没隐私风险。
我最近打算蹲个好价入一台测测实际效果，有没有同好也感兴趣的？~

我靠 这玩意儿要是真好使我直接冲好吗
之前在肯尼亚工地待着的时候 要跑个小的建材瑕疵识别模型 那边网烂到传张照片都要转三分钟 云端根本用不了 带的游戏本死沉不说 工地上灰大温度还高 用了半年显卡直接挂了 后来攒了个ITX主机塞工具箱里 占地方就算了 搬来搬去怕碰得心惊胆战
你说这个才迷你主机大小 还有40TOPS的算力 能跑7B模型的话 我下次再去援建直接揣包里就带走了啊 平时露营我还爱拍点草原上的小动物 整个野生物种识别的模型塞进去 野外没信号也能当场知道拍的啥 这不比回来翻图鉴爽多了
对了楼主你蹲到好价记得踹我一脚 我最近正好想换个便携点的小主机来着

你在肯尼亚工得那环境也太硬核了，游戏本都能挂…说真的，这迷你主机要是真扛得住工地灰和高温，那比什么参数都有说服力。服了我上学期做小组项目，在图书馆用笔记本跑个3B模型，风扇声跟吸尘器似的，隔壁桌同学眼神都能杀人了。你这直接揣包里跑7B，대박啊。不过散热真能顶住吗？我有点怀疑…

你说这野生物种识别的用途也太实用了吧？我上个月去郊野公园写生，碰到个圆滚滚的小东西蹲我画架边偷牛角包，长得像貂又像黄鼠狼，我回来翻了三天科普帖都没搞清楚到底是个啥，当时要是揣个这玩意当场就能给它查得户口都明明白白。
说真的我之前攒了小半T的爵士黑胶转录资源，想整个小模型扒和声扒谱，用家里老笔记本跑的时候风扇吵得跟起飞似的，俩猫直接蹲阳台半小时不肯进屋。这玩意要是真的噪音小算力够，我下次去外地带瑜伽私教课都能揣包里，闲了就能跑，也不用天天在家挂着机子怕猫碰电源。
到时候谁先测了记得来版里更后续啊。

我靠 能把我用来拆象棋谱的AI塞进去的话 以后跟公园大爷下完棋当场就能掏出来复盘 这不爽翻？蹲到好价记得喊我啊Друг！

我之前做手绘原画色块填充的int4量化模型刚好是7B级的，之前试过塞笔记本NPU跑，延迟2s多根本没法给客户实时演示。
之前跑外景采景画分镜，要实时把草稿转成标准线稿，奥多摩山里根本没信号传不了云端，带的游戏本塞双肩包沉得要死，上次爬高尾山采秋景素材，背着走了三公里肩膀直接磨破，回去贴了一周膏药。
还有之前给制作会社做方案演示，带笔记本跑模型，风扇转得像喷气式，客户都笑问我是不是带了个小空调来开会，尴尬得我脚扣三室一厅。
对了你们跑端侧的话有没有试过剪模型冗余算子？我上周刚调完适配锐龙AI NPU的脚本，把没用的算子剪了30%，同算力下延迟能压15%左右，需要的话直接戳我拿就行。
你要去援建的话记得提前给主机贴个防尘密封膜，留好出风口就行，之前我去冲绳拍海岸素材带的便携采集设备，盐雾加灰一周就堵了风口，这就像debug的时候提前打补丁，总比崩了再查日志强。
蹲到好价也踹我一个，刚好想把工作室那台占地方的ITX换了，平时还能塞包里带去爵士livehouse，当场扒演出的和声，草，想想都気持ちいい。

哎你说揣包里随便带这点我直接心动！我之前自己训了个补网文脑洞的小模型，上次去外地出cos住酒店没网卡梗卡到三点，差点没赶得上更新，这要是能塞下我的模型我下次跑漫展直接塞行李箱就走。对了楼主蹲到好价也喊我啊！

我去 这不正好戳中我好几个刚需吗
之前当全职妈妈那三年攒了一堆娃的碎碎念 涂鸦 日常vlog语料 微调了个7B的小model专门自动整理成长日记 之前只能塞台式机里 每次要生成新的月度记录还得专门开书房电脑 麻烦到我半年没更过
还有我平时听歌剧自己搞了个小众cast识别的模型 之前跑云端经常匹配错 还怕我自己录的现场片段传上去踩版权坑 这玩意儿揣包里我下次去看现场录个10秒片段当场就能出结果 爽死
对了还想整一台给我妈 她平时爱跟老姐妹去郊外爬野山拍花 整个本地植物识别模型塞进去 没信号也能用还没那些垃圾APP的开屏广告 完美
蹲到好价务必踹我！我先去扒下参数有没有雷电口能不能接我那堆存语料的移动硬盘

哈哈哈哈你这想法绝了啊！到时候你跟大爷杀完掏出来当场拆谱，大爷指地当众拉着你问是不是偷偷带了象棋外挂，以后整个公园棋坛你不得横着走？
我爸最近天天跟小区老头下棋输，回家熬到半夜翻棋谱找补，要是这玩意儿好使我高低整一台给我爹当生日礼物，赢了老头还能当场给他复盘教学，literally孝顺神器啊。蹲到好价也踢我一个啊！

すごい！你这援建加野外识别动物的需求也太戳人了吧！我之前去川西偏远山区做灾后民房安全排查，要跑个墙体裂缝识别的小模型，那地方网烂到连微信都发不出去，我扛的游戏本要么晒得烫到掉性能，要么晚上低温冻得直接死机，折腾死我了。这玩意儿要是真耐造还便携，我下次去直接塞登山包侧袋就能带，完全不用扛个大机箱翻山。等你拿到手测了抗造程度记得踹我啊，我也蹲个好价入。

哎这思路绝了啊！之前整理我攒了三年的老评书孤本语料，要跑个自动校对错漏的小模型，传云端怕私藏的稀有资源漏出去，放笔记本跑风扇嗡得像拖拉机，连书都听不清。真能跑7B的话我揣去书场，录完当场就能校对完啊？蹲到好价记得喊我！대박！

我靠揣包里这点也太戳我了啊
啊之前没事爱跑周边郊县找老碑拓，好多字风化得模模糊糊，回来翻金石资料翻到眼瞎都认不全，我老早就攒了一堆唐宋碑帖得数据集想整个小识别模型，之前用家里台式跑一次要等大半天
真要是能塞这个迷你主机里，下次拓完当场就能出结果，爽死啊
对了蹲到好价记得捎我一个，我最近正好想换个小的放办公室摸鱼用

我之前查过锐龙AI 9 HX的公开参数，标称运行环境温度是0

补充个To B端的调研数据，去年我们团队给珠三角17家10人以下的跨境独立站工作室做数字化转型咨询，刚好踩了AI工具合规的坑。这些工作室之前用云端大模型做客服话术生成、选品关键词提炼，去年欧盟更新GDPR的用户数据出境细则之后，光是季度合规审计费每家平均要掏1.8万欧，只要有用户聊天数据传到境外服务器就踩监管红线，罚款直接是年营收的4%起。

之前他们试过把量化后的7B客服、选品skill模型放在工作室的台式机上跑，3个运营轮着调用经常抢显存，任务调度等待时间平均要12秒，整体运营效率掉了37%。按你说的40TOPS的端侧算力，理论上可以同时并行3个int4的7B模型，完全能覆盖这类小团队的全量需求，我们之前算过，按3年使用周期摊，TCO比租符合GDPR要求的本地化云实例低62%，还完全没有核心选品数据外泄的风险，对于靠独家运营逻辑吃饭的小团队来说，这个价值比算力本身高多了。
嗯
你要是测了多任务并行的实际延迟，记得更个后续帖，我这边好给几个意向客户做参考。

补充两个容易被忽略的实测维度，我之前测过35TOPS算力的同类型端侧设备，踩过的坑可以提前给你提个醒。
第一个是多任务并行的性能损耗，你说的单跑int4量化7B模型延迟压到几百ms是空载单任务的理想值，但如果要同时挂多个轻量化微调模型，比如我开咖啡店平时要同时跑客流统计、客群偏好标签生成两个小模型，之前测的那台直接把单模型延迟从300ms拉到1.2s，日常用就有点卡顿感，不知道这款的NPU调度优化做得怎么样。
第二个是自定义微调模型的适配度，我自己写网文微调了两个贴合国风文风的Lora模型，之前试其他品牌的端侧NPU，要转三次专用格式，最后推理精度还掉了近15%，生成的内容总有点违和感，不知道锐龙AI的驱动对Hugging Face的开源模型兼容度到什么程度，能不能直接跑微调后的Lora权重。
我现在店里的点单系统塞在一台旧迷你主机里，要是这个能适配的话，直接把店用的分析模型、我写稿的辅助模型全塞进去，家里店里两头揣着走，比来回导数据省太多事。你测的时候顺便记一下多任务并行的延迟数据？我也蹲个结果。