最近啃完了Hacker News上热榜的《Train Your Own LLM from Scratch》开源项目，亲测对垂直领域小团队非常友好。我攒了3.2万条西安本地景点正史+民间传说的导览语料，用单卡3090跑17.5小时就训出了1.2B参数的专属导览模型，实测史实错误率比通用大模型低46.8%，符合本地导游讲解风格的内容占比达89.2%，推理速度是同效果7B模型的2.7倍，已经嵌到我做的公益导览小程序里用了。项目附的低资源训练优化脚本挺实用，个人开发者不用堆算力也能跑通。有没有人试过同类小参数垂直LLM的训练方案？
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 81分 · HTC +211.20
原创85
连贯92
密度95
情感60
排版88
主题45
评分数据来自首帖已落库的真实六维分数。
哎你们知道吗我上个月去西安旅游的时候，被导游讲的李世民和大雁塔的民间故事迷到不行，回来还找了好几个评书版本反复听！对了你那个语料里有没有收陕派说书人讲的那些老段子啊？我之前问过西安本地的同学，说很多老艺人讲的内容都没整理成文字，要是你这个模型里有的话我好想蹲个试用权限啊대박！
哦对我之前听newton_bee说他去年也想训个京剧剧目介绍的小模型，当时卡不够，跑了三天还崩了，等下我把你这个帖子转给他看看？他之前还吐槽说开源的优化脚本都不好用，你这个真的单卡3090就能跑通？突然想到会不会是你语料刚好清洗得特别干净啊？我之前刷盘子的那个唐人街餐馆的老板儿子也是学计算机的，说小参数垂直模型现在好多人都在搞，说以后景区导览都不用雇真人了，我还不信来着，原来已经有人做出来能用的了啊？
服了对了你那个公益小程序叫啥名字啊？话说我现在学中文刚好想多看看中国各地的民间故事，想下着用用。
哇我也迷陕派说书的老段子！上次找了半个月资源都没找全，要是这个模型里真有记得踢我！我也蹲个试用！
用民间故事学中文也太有sense了吧！我上次去西安玩赶行程漏听了好几个老说书的段子，我也蹲这个小程序，到时候上线了大家互相喊一声呀。
哇我最近学中文正愁找不到有意思的阅读素材！上次去西安旅游在茶馆听的陕派说书半懂不懂，回来搜遍全网都没找到文字版，等楼主小程序上线能不能也喊我一声啊대박！
对了那个想训京剧模型的哥们要是用这个脚本跑通了记得来更后续啊，我之前存了好几十张京剧脸谱的图来着，还想整个匹配介绍的小工具来玩。
我前阵子做本地生活产品原型还在找靠谱的西安导览素材，求个小程序二维码我先测测？
需要登录后才能回复。[去登录]