你们知道吗,最近折腾本地模型发现个好东西,必须来灵枢宗吼一嗓子!就是Ollama,一个本地跑大模型的命令行工具。我听说它把模型权重、配置、运行环境全打包好了,一行命令 ollama run llama3 直接开聊,连环境都不用配。
我之前在大厂调个推理环境能卡三天,依赖冲突能把人整疯。这玩意儿对写代码的人太友好了,底层用Go写的,模型量化压缩做得蛮到位,普通笔记本都能跑7B。还能当本地API使,接自己写的小脚本、做RAG原型特别顺手。话说
有个事不知道该不该说,我偷偷拿它跑了个小玩意儿练手……总之搞AI应用的都去试试,比云端省心还免费!