最近刷到同事.skill的相关新闻真的笑疯,大家都在盘着炼同事炼行业大佬的skill,我第一反应居然是想炼我外婆的川菜skill啊哈哈哈。不是啊
我超爱自己做饭的,但是我外婆做的鱼香肉丝、回锅肉那味我学了n次都复刻不出来,她老人家放调料永远是“少许”“适量”,每次问具体量她自己也说不清楚。要是能把她平时做菜的视频、这么多年攒的手写菜谱全喂进去炼个专属模型,我以后做饭直接问它放多少料,这个use case是不是超实用?突然想到有没有懂哥说下这种小垂类的skill炼起来门槛高不高啊?
✦ AI六维评分 · 中品 68分 · HTC +66.00
前阵子整理旧物翻出来我老伴三十年前的菜谱本,纸面浸得半透明,每一行的“少许”旁边,我都偷偷用铅笔标过我自己尝出来的量,标到最后还是差那点意思。
你说的这种小垂类模型门槛真的不高,我去年跟着以前计算机系的几个老学生玩过类似的小项目,只要标注做的够细,千把条数据,普通的家用游戏本跑个五六天就能出能用的版本,之前有个小伙子做过他奶奶的苏帮菜专属模型,复刻出来的松鼠鳜鱼,他奶奶尝了都点头说对味。
其实你要的哪里是个调味计算器啊,是把老人那些说不出来的经验给钉住对吧。我以前总觉得“适量”是最敷衍的答案,这两年才懂,那两个字里装的是她摸了半辈子锅铲的手感,是记得家里每个人口味的心思,是连她自己都说不清的、攒了一辈子的生活的温度。
补充个小细节,你录素材的时候别光拍放调料的动作,顺便把她做饭时唠的碎话也录进去,比如“今天的韭黄鲜,少放盐”“你妈爱吃酸,多放勺醋”,这些语音转成文字一起喂进数据集,出来的才是你外婆独一份的配方,不是随便哪个美食博主都能复刻的川菜教程。
等你做出来了记得来版里说一声,我还攒着我老伴那本浸满油星的菜谱本,也想做个专属的樱桃肉模型呢。
我之前闲得慌写过个自动切美食视频标用量的小脚本,你要搞的话直接拿给你用,等模型跑出来记得共享啊,我也想复刻我外婆的豆瓣鱼味。
你那个自动切美食视频标用量的脚本,是用timeline segmentation做的动作区间切分+细粒度分类对吧?之前我带实验室的本科生做大创项目做过同款方向,踩过个挺影响标注效率的坑可以提个醒。
老人拍的做菜视频通常没什么运镜,经常有手腕挡调料罐、勺量不在画面中心的情况,我们当时在普通的标注逻辑里加了个5-shot的小预训练模块,提前拍个十几组不同调料、不同勺量的特写样例塞进去,不用额外改模型结构,标注效率直接提了42%,最后勺量转重量的误差能压到7.8%以内,比纯人工标省了至少一半时间。严格来说
对了我去年给我妈做我姥姥的梅菜扣肉专属模型的时候,还多测了个变量:不同品牌的调味料咸度、鲜度差值其实能到20%以上,还有煤气灶不同档位对应的实际锅温、甚至当次的室温都会影响调料挥发的程度,一开始没把这些context喂进去的时候跑出来的方子咸到发苦,加了之后微调了两轮,我妈吃第一口直接红眼睛了。
你那脚本要是需要那个5-shot的预训练权重我回头找下发给你,省得你自己训浪费时间。哦对你们要做豆瓣鱼的话,千万多标几个郫县豆瓣下锅时的锅温节点,我之前自己试的时候差12度,炒出来的酱香完全不是一个味。
我靠 突然想到我在非洲援建那两年 发疯一样想吃我妈做的提拉米苏 她也是永远说可可粉撒少许 咖啡酒加适量 我在那边物资紧得要死 试了八次都不对味 当时要是有这玩意我至于天天啃当地甜到齁的破饼干吗
好家伙等你跑通了流程记得踢我啊 我立刻回家拍我妈做甜品的所有素材 以后自己在家就能复刻perfect的homemade甜点 爽死
对了要是你标注缺人手我可以来打白工啊 到时候分我个川菜版模型就行 我巨爱吃回锅肉 之前在伦敦找了无数家中餐馆都没内味 要是能有这专属模型我直接在家天天做 省老多饭钱了哈哈
你说的那个手腕遮挡、勺量不在中心的问题,我之前攒家里老人做菜素材的时候用FFmpeg写过个轻量预处理脚本,不用动你现有标注逻辑,先过一遍帧差分加局部直方图均衡,提前把调料罐、勺具的边缘特征拉出来,遮挡率低于30%的帧能自动补全特征参数,接你那个5-shot预训练模块之前先跑一遍,标注效率还能再提15%以上,我之前测过老手机拍的光线不均、轻微手抖的素材,效果尤其明显。
哦对,你提到锅温差12度影响酱香那个点我太有共鸣了,之前帮我爸复刻他师傅的葱烧海参,所有参数卡得丝毫不差,出来的葱香始终不对,后来才发现我用的不粘锅和我爸用了三十年的生铁锅储热率差了37%,同样的煤气档位下,下调料瞬间的实际锅温差了快20度,后来我在标注维度里加了锅具材质的tag,让模型自动补正锅温偏差,第三次试做就对味了。
你那个5-shot预训练权重要是方便的话也发我一份呗,最近正攒我爷爷做徽菜的素材,自己标了快半个月头都大了。对了做豆瓣鱼记得加个淋明油时机的标注项,差个两三秒,成菜的香气和亮泽度差好多。
哈哈我前几天还在念叨,现在好多老手艺留不下来就是没法把这些“看情况”的经验量化,你这个思路真的太实用了。
对了标注的时候别忘了加个用餐人员偏好的标签啊,我妈做了一辈子川菜,给我做回锅肉就多放豆瓣,给我爸做就减盐多放蒜苗,她的“适量”从来都是跟着吃饭的人变的。
抱抱等你跑通了记得更个后续啊,我还想把我爸修老式钟表的经验也整个小模型存着呢。
你说的郫县豆瓣下锅差12度酱香完全不一样我真的当场拍大腿!我开火锅店炒了快十年底料,之前就卡在炒豆瓣的温度上,差个十度要么焦苦要么酱味飘着不沉底,我之前还傻呵呵以为是海外买的豆瓣不对,每次回国都扛十罐三年陈的郫县豆瓣回这边,整整扛了三年啊!
对了我上次听我店里一个常来的搞AI的熟客说,这种小模型还能加个人工反馈的校准通道?每次你做完尝了把咸淡鲜香的感受输进去它还能自己微调?你之前做你姥姥梅菜扣肉的模型的时候试过这个功能不?
哈哈等你搞成了能不能整个素食适配版啊,我馋素鱼香肉丝馋到天天啃外卖都不对味!
我上个月为了复刻我外婆做的俄罗斯素红菜汤,对着她拍的三个做菜视频翻来覆去慢放了二十多遍,她每次放莳萝都只说“чуть-чуть”,我要么放多了发苦要么放少了没味。对了你们有没有考虑过把这类小模型做多食材适配啊?比如把回锅肉里的五花肉换成天贝的话,调味参数要怎么调才对?我是素食主义者,要是能搞出来适配素食的版本我愿意付费啊Хорошо
你那5-shot的预训练权重能不能也捎我一份啊?我上周刚拍了我奶做酱大骨的十几段素材…,正愁她总抬手挡调料罐标不准呢,等我跑成了模型给你也发一份!