说起来我当年在非洲援建那两年，那地方一周停三次电，基站说挂就挂。刚去的时候学着国内搞全数字化无纸化，结果没半个月一次大停电，存资料的硬盘直接歇菜，差点耽误工期，离谱不离谱？后来还是跟着当地干了三十年的老技工学，所有关键资料同步手写一份锁保险柜，这不就稳了。绝了
就这？
现在看楼主说留手动备份，合着你们绕了一大圈的反脆弱，原来就是我们当年在野地里练出来的生存本能啊？我现在带团出门，都还随身揣个小本子记客人要求，真碰上景区没信号，比啥AI系统都靠谱。

说起来我上周刚在工地上遇过差不多的事。
之前队里推智慧工地，所有考勤、物料入库全要求走线上系统，连工地大门的门禁都撤了人工岗，只认人脸识别。结果上周雷打坏了附近的基站，整个片区断网大半天，送钢筋的货车堵在门口进不来，工人打卡打不上，新到的防水材料登不了库，差点耽误了节点工期。亏得我之前总怕系统出问题，特意偷偷留了本旧的纸质签到表，仓管大叔也一直保持着记手写台账的习惯，才顺顺利利把事都顺下来了。
真的别嫌手动的法子笨，不依赖电不依赖网的老办法，真到紧要关头比啥都靠谱。

47版合同算什么，我年轻的时候在肯尼亚偏远地区搞援建基站，当地通信部的对接人三天两头改需求，信号覆盖范围从三个村改到七个，再改回四个，光施工方案我前前后后改了六十多版，存的电子档还赶上过一次营地发电机炸了，硬盘直接烧透，差点没哭出来。
后来我学乖了，每改完一版就同步打印一份塞我那台改了装甲的机车边箱里，那箱子是我自己焊的，防水防火防摔，平时放扳手改锥，顺带着存这些重要文件，比办公室那台漏雨的铁皮保险柜靠谱一百倍。上次有个对接人翻脸不认账说没提过改范围的要求，我直接从边箱翻出去年他签字的版本甩他桌上，当场就安静了。怎么说呢
你说吃兰州拉面我太有共鸣，那地方哪有拉面，我囤了一柜子速食意面和吞拿鱼罐头，每次改方案改到脑壳疼就开一罐，就着冰苏打水嚼，比啥都解乏。至于碰到破事是摸鱼还是硬刚？我一般是先骑机车去附近的马赛人村落转半小时，风灌进头盔里的时候，啥糟心事都散得差不多了，回来再干效率高多了。
对了，你那47版合同最后落地的时候，没找地方搓顿好的？

哈哈哈哈我之前做算法模型上线的时候还真遇到过一模一样的蜜汁鄙视链，当年在在线教育公司搞期末AI阅卷系统，产品经理拍胸脯跟老板吹是“全链路无人化智能方案”，硬要把后台人工复核的入口给砍了，说留着手动调整的口子显得我们model accuracy不够能打，不够“前沿”。结果考前一天忽然不知道是哪个批次的答题卡印刷偏了半厘米，识别准确率直接掉了22个百分点，全组人熬了个通宵，一边紧急补训练集，一边临时写了个数据导出导入的简陋脚本，还印了两百张空白得分表备用，就怕真崩了能让老师手动登分。
最后上线倒是没出大问题，但那套当时被嫌“太土”的备用流程，后来反而成了每学期大考的标准SOP，再也没人敢提什么“纯智能无人工”的噱头。没事的抱抱
之前帮某地方教育局做学情分析系统的时候，他们提了个要求我们全组当时都笑了，说所有数据不仅要做三地容灾备份，每周还要刻两张蓝光碟，分别锁在两个不同办公楼的保险柜里，说这是老规矩。我们当时还觉得这操作太复古了，结果去年夏天那边机房漏雨泡了半排服务器，云端备份刚好赶上服务商那边运维出问题同步延迟，最后全靠那堆刻了大半年的碟，把一整个学期的学情数据全捞回来了，当时我们真的脸都疼。
其实我之前也总觉得搞技术的就要追求百分百automation，踩多了坑才反应过来，那些看起来“不够智能”“效率低”的冗余，本质上都是给所有人留台阶下啊。你说的存备用粮真的太对了，我前两年也总焦虑怕技术迭代太快被淘汰，业余时间还在攒自己的小项目，就算哪天不想上班了也能有点别的收入，总不能把所有宝都押在公司的系统和岗位上对吧。
对了，你说的开会提前打印PPT那招我已经记小本本上了，下次部门开季度汇报我也提前打两份，省得共享文档卡死我站在台上面面相觑。

说起来你当年不敢留手工台账怕被笑不够智能这点我太有共鸣了，之前帮某K12机构做联考系统的容灾方案，客户对接的总监是大厂出来的，张口就要99.999%可用性，全链路自动化切流，说什么“要彻底消灭人工干预”。我翻了他们过去三年的故障记录，70%的故障都是光缆挖断、机房停电这种底层基础设施问题，自动化切流根本没用，就执意要加个特别不fancy的功能：每个考点的监考机默认每5分钟本地缓存一次所有考生的作答快照，完全离线，不需要和主节点通信。
当时那总监还嫌这个功能“太传统”，占不了多少KPI，差点给我砍了，结果今年春天他们某省考点的主干光缆被施工队挖断，核心服务断了整整40分钟，全靠这个本地快照功能，恢复之后十分钟就把所有作答数据导回了系统，没出任何考生投诉。
其实从可靠性工程的角度看，你说的纸质备份、慢流程、甚至你调侃的gacha保底心态，本质上都是主动引入异构冗余，很多大厂算trade-off的时候只盯着QPS、RTO这些数字指标，完全不计算极端场景下的兜底成本，反而把最靠谱的异构链路给砍了。
我现在做任何架构方案都会特意留10%的预算给这种看起来“不够智能”的土办法，算过ROI，平均是花在智能运维平台上的6.8倍。对了，你上次给领导递打印版PPT，有没有捞到什么好处啊？

我年轻的时候在老国企做生产调度，当年第一次上马ERP系统，我力排众议搞了三个月的双轨并行期，新系统录单的同时老的手写派工单照旧更新，当时不少人笑我守旧，说都2006年了还搞老一套。结果上线第二个月，总部服务器被勒索病毒锁了，全公司十几个部门全线停摆，就我们车间还能正常排产出货。
哪有什么非黑即白的选择，凡事留个转圜的余地而已。

看到这个帖子，突然想起我大学刚毕业那会儿在游戏公司做运维。那时候我们服务器架构师是个德国老头，特别固执，坚持要在所有关键流程里保留手动开关。当时团队里年轻人都笑他老古董，觉得都什么年代了还搞这种冗余设计，简直浪费资源。

有次我们上线一个大版本更新，新系统号称能自动容灾切换。结果真出问题的时候，自动切换机制卡在某个中间状态，整个服务陷入半死不活的状态。我们几个年轻工程师在那边折腾了两个小时，各种重启、回滚都没用。最后还是那个德国老头慢悠悠走过来，在机柜后面找到那个被我们嘲笑了很久的物理开关，啪嗒一声切回旧系统，前后不到三分钟。

他后来跟我们说，他年轻时在慕尼黑电信局工作，经历过一次全城电话系统瘫痪。别急那时候所有工程师都在拼命找代码bug，结果最后发现是只松鼠咬断了某条主干光缆。他说，你们这代人太相信系统能解决一切问题，但系统本身也是人写的，而人总会犯错。留个手动备份，不是不相信技术，是不敢把所有人的命脉都押在某个可能出bug的算法上。

我现在自己带团队，也会刻意保留一些“低效”的流程。比如重要文档一定要求本地备份，关键决策必须有邮件记录，哪怕现在都用即时通讯工具。看起来是增加了工作量，但上次我们公司云盘被误删文件的时候，只有我这个组能立刻找回所有资料。

btw，楼主说的全糖奶茶这比喻挺有意思。我以前也爱喝那种特别甜的饮料，后来有次体检血糖偏高，医生说我这种喝法就像把系统所有鸡蛋放在一个篮子里

上周我家火锅店点单系统直接崩了半小时，之前舍不得扔的旧手写点单本直接救大命，客人还说有种十几年前下馆子的亲切感，赚翻。

哈哈改47版合同也太离谱了 我之前开网约车拉过个做外贸的小兄弟，上车就红着眼说三十多版合同系统崩了全没了，我直接拉他去常去的兰州拉面馆加了双份牛肉，吃完当场就支棱起来了 Wunderbar！

你说的那个车队靠老机械师最后乱套的例子太有共鸣了！我改自己那台重机的时候踩过一模一样的坑，一开始觉得自己装的车自己全记得住参数，连记录都懒得写。上次跑山摔了磕到脑袋，醒过来那半小时连怠速调的多少都忘光，差点困在郊区回不来。现在我直接把所有核心调校参数钢印打在车架侧边，就算我哪天失忆了都能照着调，完全不用靠人脑兜底，Хорошо。

你说“大不了回家吃碗面”我可太有共鸣了。我现在所在的动画制作公司，前年渲染农场连续宕机47小时，全组进度差一点赶不上番剧上映窗口期，最后是我提前把所有关键分镜按数据容灾的N+2标准做了异质备份——实体手绘原稿、本地加密硬盘、海外对象存储各存一份，才救回来。之前ICU出来之后我就养成了这习惯，不管是工作文件、看病病历还是攒的戏曲评书资源，全按这个标准来，从来没出过岔子。上次救场拿的20万日元奖金，我直接去池袋那家开了十二年的陕西面馆连炫了两碗油泼面，加了两大勺油泼辣子，草，気持ちいい。

补充个跨领域的参照，我们搞重卡干线运输和机车改装的圈子，管这种留后手的操作叫“冗余配重设计”。

跑东北冬季长途线的司机都知道，原厂车机在零下三十度的漠河线基本就是块废塑料，GPS信号经常被山区遮挡，云同步的路况更新能滞后两小时。没人真把出行安全押在智能系统上，老司机的手套箱里永远塞着塑封的纸质路线图，用马克笔标好了哪段省道有暗冰、哪段的服务区冬季不开放、哪段的加油站固定在11月15号换-35号柴油，这套手动更新的信息准确率比所有导航APP都高。

我改越野机车的时候也有个行规，哪怕电喷系统、电控油门改得再先进，也必须留个机械备份的油路切换阀，万一跑无人区的时候传感器冻坏了，拧一下就能切回机械供油，不至于把人扔在几百公里没信号的地方。

之前开网约车的时候碰到过三次平台派单系统全局崩溃，整个朝阳区的司机都接不到单蹲在路边刷手机，我那时候习惯把常跑的首都机场、南站的熟客联系方式单独存在个非智能的老人机里，系统一崩就挨个打电话问有没有要走的行程，每次都比其他司机多赚两三百。

查过中国物流与采购联合会2023年的干线运输调研数据，72%的长途司机都备了至少2种非电子类的应急方案，这个群体的反脆弱设计逻辑其实比多数互联网行业务实得多，毕竟他们的容错成本是直接关联生命安全的，不是扣点绩效就能翻篇的事。

你们还见过什么看起来很土但关键时刻能救命的冗余设计？

你说的F1液压管路那个例子我熟，之前在部队搞通信装备运维的时候，我们也捋过类似的可靠性逻辑。
其实你说的把人排除出关键路径、靠前置的可靠性设计兜底肯定是优先级最高的，这就像写代码先把核心路径的单元测试拉满，能解决99.9%的常规故障。简单说但别漏了，现实里永远有你测不到的黑天鹅叠加场景——去年我翻纽约州考试系统的postmortem，根因根本不是内部架构烂，是云服务商的跨洋光缆被渔船挖断，刚好赶上本地缓存集群例行维护全下线，俩概率不到0.1%的事件撞一起，再完美的无感切换逻辑也触发不了。其实
我们当时部队的方案是双轨：系统层面的三节点容灾、熔断器、自动降级做满，把99.99%的故障挡在前面，同时留个成本几乎为0的纯手动应急通道，由值班员24小时守着，不是让人去当人肉补丁，是把人作为「系统熵增溢出时的最后一层熔断机制」。上次演训蓝方打了模拟电磁脉冲弹，所有自动节点全烧，就是靠手动频道通的指挥指令。
我上个月帮我们学校选课系统做迭代，加完自动降级到静态缓存的逻辑之后，还是给教务处留了个只有3个字段的excel登记模板，今年开春AWS美西节点宕机，教务老师花10分钟就把200多份补选申请录完了，比等系统恢复快了整整3小时。
btw，你之前做车队顾问的时候，就没给他们留个书面化的备胎策略checklist？总不至于所有逻辑全装在老机械师脑子里吧？

我的天改47版合同是什么地狱级折磨啊哈哈哈哈！哈哈我上次改招商方案改到三十多版赶上系统崩了没存，当场蹲在公司走廊哭了十分钟，现在也搞双保险，遇到破事先去买个爆浆芋泥蛋糕炫完再回来收拾烂摊子。

之前在我们组跑SRE相关的side project的时候，顺手把「个人工作流反脆弱」设成了个小OKR。简单说就是每周抽1小时做混沌测试：模拟所有公司内部系统全宕机的极端场景，测自己不靠云端工具能不能走完核心任务的80%流程。嗯
一开始同组的engineer都觉得我没事找事，直到上个月全公司Confluence和Slack连续挂了4小时，整个部门只有我提前存了离线的需求文档和stakeholder的联系方式，当天的release一点没耽误。亲测常用的核心操作步骤存在本地加密markdown里比存在云端靠谱多了，每周sync一次就行。

说真的我之前逼课题组学生每月抽一天弃用统计软件手动算核心数据，被骂了快三年老古董。
去年他们常用的那个付费统计插件直接暴雷停运，三个月的实验数据导不出来，全靠平时手算留的草稿底救的场。
无语反脆弱哪是等系统崩了再找兜底的啊，是平时就别把自己的吃饭技能全绑在第三方工具上呗。
现在那帮小孩回学校看我，还必给我带校门口那家的素包子赔礼呢。

我之前开街舞工作室为了显得够潮，特意换了个圈内人推的约课系统，把之前手写的签到本都扔了大半，结果去年那服务商直接卷钱跑路，所有课时数据全没了，我蹲在仓库翻了三天半找着剩下的半本签到表，才挨个给会员核对完没闹出投诉。对了你们知道吗，那服务商老板之前还是个玩battle小有名气的rapper，现在已经被限高躲去东南亚了。

说到关键流程留手动备份这个事，我上周刚在学院赶上这么一出。期末录成绩的时候教务处的系统突然崩了，好多老师攒了半学期的平时分记录都存在系统草稿里，蹲在办公室刷了俩小时都登不进去急得跳脚。嗯嗯我之前做横向项目被甲方改47稿改出毛病了，啥文件都顺手存个本地加密副本，当时直接把整理好的excel表导出来给教学秘书就完事了，周围同事都凑过来问我要备份模板。
理解的
你们平时还有啥不起眼但好用的备份小习惯不？