上周试了个活儿，直接把一张网页截图丢给模型，让它告诉我哪个按钮在哪、数据怎么提取。以前这种需求得先写一堆OCR指令，再配正则解析返回的文本，prompt改到第五版还可能认歪。现在它直接"看"，坐标给你标出来，布局逻辑都说得头头是道。

这事让我意识到一个变化：纯文本prompt工程的边际收益在快速递减。以前大家卷怎么措辞、怎么角色扮演、怎么few-shot，本质是模型瞎，只能靠嘴把世界描述给它听。现在它自己能看了，你那些精心打磨的文字技巧，相当一部分直接作废。

交互逻辑整个反过来了——以前是语言驱动，你负责翻译世界；现在是视觉驱动，模型自己读世界。以后拼的可能不是谁prompt写得妙，而是谁更会喂上下文：截哪块屏、给哪张图、用什么时序。
其实
纯文字时代的那些"咒语"，正在变成过渡技术。简单说手里攒了一堆prompt模板的，建议趁早想想退路。
其实
当然幻觉没死，只是从"编数据"升级成"看错图"，该核对的还是得核对。

以前调prompt真是跟念咒似的，生怕词序不对模型就给你来个"我理解你的需求是……但……"。现在直接丢截图确实爽，但你说幻觉升级成"看错图"这句真戳我，前两天让它识别个表格，它信誓旦旦告诉我第三列是金额，实际那列是日期，还贴心地给我标了坐标……行吧，至少能吵明白是它眼瞎了，比以前玄学对线强点。

读的时候想起木心那句"从前的日色变得慢"。倒不是要矫情，只是"旧手艺快要作废"这类消息，总带着一点秋风的味道。

前阵子我也试过一回。把一张乱糟糟的表格截图丢过去，它三两下就把行列之间的关系理清了。而我从前为了同一张表，得在prompt里把表头在第几行、合并单元格怎么算，交代得仔仔细细，像隔着雾给一个看不见的人比划。

不过你说"攒了一堆模板的该想退路"，我倒没那么紧。文字不会真的退场，只是从替它翻译世界，变成替它挑选世界——截哪一块、留哪一帧，到底还是得有人拿主意。模型能看，可决定让它看什么的，仍是那双眼睛。
我觉得吧
只是这双眼，往后怕是越来越懒了。

你们知道吗，我前两天刚听一茬，跟楼主说的对上了——有个做RPA的小团队，据说把以前攒的几百条prompt模板全清了，改成截图加几句话标注直接丢进去。我第一反应是这不就是偷懒嘛，后来想想好像真有道理。

不过"喂哪块屏比怎么写prompt重要"这句我持保留，我怎么觉得这两件事现在是一起卷的。你那个"看错图"的提醒戳到点上了，我听人讲过一个case，模型把按钮坐标标得清清楚楚，结果截的是页面加载前的占位图……所以核对这一步谁也省不掉。
怎么说
楼主你这用的是哪个模型，私心问问。

丢截图是真省事，但我前阵子让它读张表格截图算总数，它把合并单元格那块漏了，差一大截。楼主说幻觉从编数据升级成看错图，一针见血。不过prompt模板趁早想退路这话我存疑，看准不准还是看你喂啥，选图切图本身也是功夫，没真废hh

坐标直接标出来也太离谱 我前两天交作业就靠截图让模型认文献里的图表 比我自己抠prompt省事一万倍 不过楼主说模板变过渡技术我有点慌 攒的那堆few

听说了吗 你这帖子说的截图流我前两天刚在一个群里看见人聊！有个事不知道该不该说，我听说现在不少团队内部已经不怎么攒prompt模板了，反而在偷偷整理"喂图规范"，截多少留白、时序怎么排，整得跟摄影构图似的。

不过你说的"看错图"我怎么听来的版本不太一样，有些模型坐标标得挺准，一碰上重叠元素就整段瞎，尤其那种按钮压按钮的界面。核对这步它一时半会还真替不了。
好家伙
你那活儿具体啥场景啊，纯网页还是也试过客户端窗口？我好奇这视觉驱动到底多稳 (｡･ω･｡)

所以接下来卷的是"截屏审美"了是吧，这下连我这种拍照只会开人像模式的都逃不掉了哈哈绝了

说真的你那个"喂上下文比写咒语重要"的判断我挺服的，但"趁早想退路"这句有点吓人——prompt模板又不是BP机，边际收益递减又不代表明天就归零，把需求说清楚的本事练了也不亏。倒是"从编数据升级成看错图"这句说到心坎里，核对这步怎么都省不掉，c’est la vie。

坐标标得是挺准 但我丢过一张糊图它自信满满指错地方 还是得自己看一眼

前阵子我也试了，截张表让它提数，它愣把表头当数据填进去了。看错图这坑，比编数据还隐蔽hh

稳！我前阵子也是截图直接丢过去，比调prompt省太多事。喂上下文才是真功夫，干就完了