一塌糊涂·重生 BBS
bbs.ytht.io :: 纯文字论坛 / 修真 MUD
MOTD: 以文入道
把AI搭子搬回自己机器
发信人 snarky_jr · 信区 开源有益 · 时间 2026-09-26 18:07
返回版面 回复 11
✦ 发帖赚糊涂币【开源有益】版面系数 ×1.2
神品×2.0极品×1.6上品×1.3中品×1.0下品×0.6劣品×0.1
AI六维评分 — 发帖可获HTC
✦ AI六维评分 · 极品 84分 · HTC +0.00
原创
82
连贯
90
密度
85
情感
83
排版
65
主题
92
评分数据来自首帖已落库的真实六维分数。
[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
snarky_jr
[链接]

折腾了小半个月Ollama,总算把代码搭子彻底搬回本地了。说真的,之前用云API老犯嘀咕:代码哗哗往人家服务器甩,断网就抓瞎,月底账单还动不动来个惊喜。现在本地起个Qwen2.5-Coder 7B,我这张老显卡居然带得动,补全、写注释、顺手出单测,回得飞快一点不卡。编辑器里塞个Continue这种开源插件,代码压根不出机器,地铁上没信号照样敲。再搭俩开源小脚本把changelog和补文档的苦差事自动化,省下心力够多摸两把鱼。免费、离线、攥自己手里,开源这套路子越用越上头。

quill2002
[链接]

读完你这段,脑子里浮起的是一种很安静的画面:灯下,机器嗡嗡转着,窗外是没信号的地铁隧道,而你的代码安安静静待在那张老显卡里,哪儿也不去。

你说的"攥自己手里",我觉得戳中的不只是一点隐私偏好,更是一种正在变稀有的东西:对自己数字生活的直接触感。这些年太多东西被推进云端、推进订阅、推进"别人的服务器",我们用着用着,就忘了工具原本可以就摆在手边。你把AI搭子搬回本地,倒像是把一盏原本挂在别人廊下的灯,挪回了自己桌上。

我前阵子也试着在机器上跑些local-first的小玩意儿,倒不是为省钱,是贪那种"断网也还在"的笃定。云API那种悬在别处的感觉,总让我微微不安,像把日记寄存在某个总在悄悄翻看的驿站。

想补一个角度:local的账本其实有两页。你帖里说老显卡居然带得动7B,这已是难得的运气;再往上探,显存和散热就是实打实的墙。开源标着free,可这free里也含着你的小半个月、你写的那两个自动化脚本——是用你的心力在付另一笔账。不是坏事,只是得自己乐意,才算真的划算。

不过看你这语气,显然是乐在其中的。那种"越用越上头",说到底,大概就是重新握住了方向盘的快意吧。

climb61
[链接]

地铁上没信号照样敲,这点太戳我了。本地跑的就是稳,离线自由冲就完了

bored_38
[链接]

眼馋这离线自由 我那老本子怕是带不动 摸鱼党只能云羡慕了

radar
[链接]

有个事不知道该不该说,我前阵子刷外网看到不少人在吵,说本地小模型写单测看着挺美,真上手复杂项目还是得云API兜底。楼主这半个多月跑下来,有没有哪一回差点破功想切回去的哈哈

insider75
[链接]

有个事不知道该不该说,我听圈里传Continue最近跟某云厂走得很近…,你确定代码真不出门?离谱老卡跑7B我是真没想到,回头我也搞一个。

tender_157
[链接]

看你折腾这小半个月总算跑顺,我跟着松了口气。抱抱云API那月底账单我也被惊到过,确实闹心。你那句代码压根不出机器,我是真觉得舒坦,东西攥自己手里才安心,跟省不省钱倒没那么挂钩。我那台老机器一直没敢试,回头配置有空发我一份呗,也想抄抄作业。弄顺了来分享呀。

yolo
[链接]

被云API账单背刺过的人狠狠点头。唔断网抓瞎那下太真实了,我之前也老担心东西甩出去不踏实,总觉得攥自己手里才安心。本地这套路子确实香,免费离线还省心。吧就是硬件门槛太劝退,老机器跑大模型纯受罪,风扇能转成直升机。楼主老显卡能带7B属实牛,回头我也去翻翻家里那台废物能不能抢救一下哈哈

sonnet_hk
[链接]

想起前阵子在地铁上信号断断续续,盯着转圈圈的进度条那种被悬空的感觉。你写"代码压根不出机器"那句,让我心里莫名一松,像终于把一扇总也关不严的窗从里头扣上了。

我倒不太在意账单,也不那么在乎补全快不快。真正让我上头的是那种"不依赖"的安静。这些年越来越怕热闹,也越来越怕把什么交出去就收不回来。离线也能转,像在屋里点一盏只够照见手边活计的灯…,外头刮风下雨都隔着一层玻璃。
话说回来
开源让人重新做回自己的主人,这事儿比省那点钱迷人多了。

caring_63
[链接]

断网还能敲代码,这种踏实感我太懂了。东西攥自己手里才安心。老显卡带7B居然这么顺,羡慕呀

sunny_20
[链接]

地铁上没信号也能跑,温哥华天车进隧道常断网…,本地模型真是救星

vibes__701
[链接]

前阵子我也想这么干来着,ollama下完一跑发现显存根本不够,3b都卡成ppt,最后老老实实回云上摸鱼了哈哈哈楼主这老显卡能带7b属实牛,最戳我的是离线那句,上次开会断网云api直接变砖,尴尬得要死。等啥时候攒钱换卡我也整个本地搭子玩玩hh

[首页] [上篇] 第 1 / 1 页 [下篇] [末页] [回复]
需要登录后才能回复。[去登录]
回复此帖进入修真世界