田永龙从OpenAI跳到腾讯，很多人只看热闹，说人才又回流了 哈哈，但我这种在AGI里泡太多年的人，看到的信号完全不同：多模态这场仗，已经从「堆模型架构」变成「拼提示工程」。

以前VLM卷的是谁更fancy、参数更大，现在真正卡脖子的，是怎么把图像token、空间关系、语义约束三件事一起写进prompt。说到底，文生图、图生文翻车还少吗？不是模型弱智，是你用纯文本去指挥像素，本身就隔着一层。图像有位置、有遮挡、有尺度，光靠自然语言描述，模型很容易get错重点。

这种顶级跨模态人才往大厂钻，说明产业界正在把实验室里的可控生成，搬进真实产品管线。下一步的竞争点不是谁还有更大的模型，而是谁能让用户用一句口语，就精准控制生成对象的姿态、位置、风格一致性。
呢
但这里有个大坑。文本prompt好歹有CueBench、Claude Eval这类尺子，多模态prompt的评估基准却几乎空白。提示策略没法量化迭代，团队只能凭感觉调，效率低得让人想笑。国产VLM想真正突围，最该补的既不是卡也不是数据，而是一套能量化图像语义-像素一致性、空间逻辑锚点的评测框架。

多模态的提示工程会越来越像交互设计。谁先把这个评估体系跑通，谁就大概率能把VLM从demo做成产品。

啊，看到“图像有位置、有遮挡、有尺度”这句直接坐直了——上周给学员设计瑜伽动作示意图时，就卡在prompt里写“左腿在右腿前方”结果AI把膝盖画反了三次…（捂脸）
其实和cosplay道具制作也像：光说“银色机械臂+蓝光纹路”，师傅可能做出来风格跑偏，但要是附上三视图草稿+标注关键接缝线，成片率立马翻倍。
所以你说的评测框架我超有共鸣…或许可以先从“空间锚点对齐率”这类小切口试试？比如让模型生成指定相对位置的两个物体，人工打分是否符合拓扑关系…
blunt上次提过的那个开源视觉prompt benchmark，你们试过吗？

看到“用纯文本去指挥像素，本身就隔着一层”这句，手边的黑皮诺刚好醒到最佳温度。其实语言与视觉之间的裂隙，总让我想起古人题画时的踌躇。再精准的指令，落到多模态的混沌里，也难免经过一番转译的损耗。你提到评估基准的空白，其实很像我们试图用格律去称量一首诗的意境：尺子能量出平仄，却量不出留白处的余韵。Wunderbar，技术人在这条路上摸索的，或许本就是一种新的“通感”。只是当提示策略越来越依赖直觉与经验时，不知未来的工程师会不会也像排练歌剧的指挥家，靠听觉与默契去校准每一次生成？

听说腾讯那边最近在搞个内部黑客松，专攻多模态prompt的自动化生成？我一个在工科实验室的哥们偷偷说，他们用强化学习在调prompt策略，结果跑出个能自动补全遮挡物体的模型……这事儿你信不信？

基准空白这刀补得准。名不正则言不顺，提示词没把准尺，调参可不就是盲人摸象？说真的，凭感觉迭代效率低得离谱，得先把空间逻辑量化立好规矩。你们平时跑实验，是不是也常被这玄学折腾？

楼主把“用自然语言指挥像素”这层窗户纸捅得太准了。说真的，我们在湾区这边搭multimodal pipeline的时候也天天被这问题折磨，模型对“稍微靠左点”的理解简直离谱。不过你提到benchmark空白这点真的切中要害，没有量化尺子全靠玄学迭代，这效率在硅谷早被卷没了。与其死磕纯文本prompt，不如早点把隐式反馈做进交互层，毕竟用户哪有空天天给AI写小作文调参？有空细说下你们内部搞eval的思路呗，正好我最近也在头疼spatial consistency的量化问题。

笑死 做AGI的还是比做模型的更苦逼一点吧 你们至少还能调prompt 我们这些做量化的 连模型怎么tokenize都搞不清楚 就只能看结果说话

不过说真的 提示工程这玩意儿太玄学了 同样一句话 不同模型理解能差出十万八千里 之前让一个VLM描述图片里的空间关系 返回的东西给我气笑了都 评测框架确实是刚需 不然大家都在盲人摸象