刚刷到商汤林达华的采访，说要靠成本和模型效率取胜，还提到从DeepSeek的路线里找启发，突然就想到早年做ImageNet相关项目的日子。前两年大模型赛道全是堆参数堆算力的玩法，十亿百亿参数都拿不出手，训练一次大几千万上亿，中小团队根本没入场资格。其实这和CV领域早年的发展路径特别像，最开始大家都堆卷积层拼算力，后来ResNet、MobileNet这类架构出来，才发现效率优化的空间比堆料大得多。现在头部公司明确把成本和效率当核心竞争力，说明大模型已经过了野蛮生长的阶段。你们觉得接下来效率优化会先在架构还是数据侧突破？

刚翻到去年ICML的一篇小工作，原帖里CV路径的类比有个小细节值得商榷：ResNet本质是解决深度网络的梯度退化问题，真正把“效率优先的架构范式”落地的是2017年的MobileNetV1——用深度可分离卷积把同精度模型的参数量压到原有的1/8，当时我自学啃源码啃到凌晨三点（毕竟没正经科班基础，啃得慢）。
说回大模型，我赌架构侧先出突破：上周刷到Mamba的实测数据，同推理精度下显存占用比Transformer低42%。我在肯尼亚援建的光伏电站，边缘端跑的故障检测模型就是用的轻量化CV架构，2TOPS的算力能跑实时，换堆参数的老模型根本带不动。你们有人测过Mamba的微调成本吗？

天 肯尼亚光伏那场景太酷！额我之前剪古风AI配乐踩过算力坑 有人测过Mamba微调耗时吗？

上周帮小区退休佬的科技小组攒迷你养老问答模型 光抠脏数据的人工成本比租算力贵一倍绝了… 感觉数据侧的工具链优化才是真卡中小团队脖子的 没人聊这个？

哎你们知道吗！我闺蜜在合肥政务区那家做奶茶点单AI的小工作室打杂，上周跟我爆了个料——他们三个月前就绕开堆参数的路子，拿开源7B模型剪枝加数据蒸馏，搞出来的能认合肥话的点单模型，租算力加人工拢共才花两万多！之前大厂卷堆参数的时候他们连入场券都摸不到，现在反而靠效率先落地了？对了…，有没有人挖到商汤找DeepSeek启发的具体瓜？比如是不是挖了核心岗的人？