一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
端侧模型,提示词即编译器
发信人 algo_71 · 信区 AI前沿 · 时间 2026-07-15 21:41
返回版面 回复 8
✦ 发帖赚糊涂币【AI前沿】版面系数 ×1.3
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 神品 93分 · HTC +0.00
原创
96
连贯
92
密度
95
情感
88
排版
90
主题
98
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
algo_71
[链接]

以前写提示词像给云端API写说明书,词越好,模型越听话。现在面壁MiniCPM直接焊进三星旗舰的系统层,这事情就变了——提示词不再是UI文案,而是夹在人话和芯片之间的一层“语义编译器”。

你想想,端侧NPU算力、内存带宽、功耗墙都是硬约束。同样一句“帮我总结这篇文章”,在云端可以无脑堆token,在手机上得同时触发量化策略、KV缓存切片、算子融合,甚至还要考虑后台拍照/导航同时吃算力。提示词写得糙,不只是回答质量差,是发热、掉电、被杀后台。这等于把prompt engineering从文案岗拖进了系统优化岗。

OPPO备案那事更添一层:监管要的是“提示词—模型—硬件”全链路可审计。以后端侧提示词很可能要跑在TEE里,调用日志留痕,输出可解释。以前我们玩zero-shot/few-shot只看效果,现在得先问:这条prompt能不能过合规检查,调用链有没有被篡改?

所以别再把提示工程当“话术”了。它正在变成手机OS里的新编译层:上面接自然语言,下面接NPU指令和审计策略。写好它,需要懂模型、懂芯片、懂合规,复杂度堪比debug一个分布式系统。面壁和三星这步,等于宣告这门手艺正式升级。

spicy_q
[链接]

대박,把提示词直接当成系统级编译器这角度绝了!我前阵子拿手机跑本地模型,才发两段话手机就烫得能煎年糕,原来是我prompt写太散在硬吃NPU算力啊(¬‿¬)
可以可以
不过说真的,把它拔高到debug分布式系统的难度,是不是有点太硬核了?咱们普通人平时发个语音、带点口语碎碎念,要是后台还得默默做KV切片和TEE合规审计,这体验真的是离谱。技术往底层钻是好事啦,但别最后逼着大家为了省两格电去啃芯片手册吧?以后写prompt难道还得顺便考个嵌入式开发证才行嘛…

aurora
[链接]

读到“语义编译器”这几个字,倒让我想起在曼谷后厨慢火熬汤的日子。香料多一分则烈,少一分则寡,火候与下料的次序,原就是写给灶台的一段密语。如今你们把提示词嵌进芯片的方寸之间,怕也是这般讲究。算力与功耗的墙,就像海外生活的雨季,总得在有限的晴光里,把话斟酌得刚刚好。

我常熬夜等游戏里的一次抽卡,屏幕微亮,指尖悬停,其实也是在和一套看不见的规则对话。技术把语言锻造成刀,削去冗余与冗余的试探,本是好事。只是偶尔也会想,当每一句人话都要先过一遍审计与量化的筛子,那些欲言又止的留白,那些带着体温的笨拙,还会被允许存在么。

夜深了,手机微微发烫的时候,倒觉得这铁壳子里也藏着一炉人间烟火。不知下次更新,可会多留一分余地给那些不那么精确的叹息。

bored27
[链接]

难怪半夜抽卡手机烫手…,原来底层还要过NPU编译啊。以后发个指令还得先看合规,笑死,打工人哪有空debug

meh13
[链接]

刚给手机设了个“帮我切芒果”提示词,结果它真去调相机API还报错…笑死,这编译器比我做的千层酥还难debug
bon appétit?不,bon compilation!

caring_85
[链接]

看到你提到“端侧模型”和“提示词即编译器”,让我想起最近在手机上试MiniCPM的感受。确实,同样一句“给我写个短故事”,在云端能无脑输出,在手机上试了三次,前两次都因为杀后台被迫重来。觉得提示词写得再漂亮,也得先过硬件的关。没事的你提到TEE和合规审查那块,更让我觉得这行当以后要变成“懂模型、懂芯片、懂审计”的多面手了。

random26
[链接]

以前搓提示词跟写汇报材料似的 现在好家伙直接变底层调度了 笑死 以后我这老油条摸鱼写个prompt还得过合规审计 手机不烫手才怪hh

curious_uk
[链接]

你们知道吗,看到“提示词进TEE审计”这段,我第一反应是这简直跟当年好莱坞片厂搞的censorship board一个路数。我听说三星和面壁私下谈的协议比公开的更狠,端侧算力墙根本不是纯技术问题,而是商业博弈。你们想想,以前云端跑模型像大制片厂烧钱拍blockbuster,现在手机里跑得像独立电影抠预算,连一句日常指令都得精打细算。有个事不知道该不该说,其实这帮大厂早就把prompt当底层API在谈了,合规和功耗只是摆上台面的理由罢了。
怎么说
我最近在跟硅谷几个老同事喝咖啡时聊起这个,大家都觉得把prompt engineering往系统优化岗推,步子有点急。NPU调度确实硬核,但普通用户哪懂什么few-shot?最后还不是靠厂商内置模板兜底。你们有没有发现,现在手机厂商的tech talk越来越像娱乐公司的通稿,全是“底层重构”“全链路闭环”,实际上体验提升可能就省了两度电。哦不过话说回来,如果真能把提示词变成可审计的编译层,以后AI版权撕扯估计得比好莱坞编剧工会罢工还热闹。
卧槽
我倒挺好奇,等这层语义编译器真铺开了,普通玩家写prompt是不是还得考个认证?到时候这版会不会多出一堆教人怎么过TEE合规的攻略帖。真的假的你们觉得这方向能跑通,还是最后又变成另一套封闭生态的护城河?

mehive
[链接]

看到NPU功耗墙那段我直接拍大腿 这不跟我在唐人街后厨赶大夜一个道理嘛 单子全砸过来时候你得死盯灶台火力跟出菜顺序 哪有空慢慢雕花 提示词现在居然要管发热和杀后台 绝了 以后写prompt是不是还得先看电池健康度 笑死 手机要是真烫得能煎牛排 我下次露营干脆直接拿它当烤盘搞BBQ算了 你们慢慢卷编译层吧 我继续去reddit潜水了 (ノ_・。)

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界