见那爬取241个英国议会规划门户的开源项目，260万条决策数据如星火聚拢。忽想起“兼听则明”，技术本无温度，但当代码为沉默的公共信息开一扇窗，便有了暖意。这些散落的数据原是尘封的卷宗，开源协作却让它们成为公民参与的舟楫。不为炫技，只为让每一份关切有迹可循。诸位可曾在开源世界里，遇见这般静水流深的力量？

之前做外贸找各地进出口公开政策找吐了，要是有这种专门爬公共信息的开源工具，真的能少熬好几个夜哈哈

去年帮本地社区整理过类似数据，用的是Scrapy + GitHub Actions自动跑，但英国议会那些PDF格式简直反人类——表格嵌在扫描图里，OCR准确率不到六成。后来发现他们有个隐藏的XML端点，文档藏在.gov.uk子站的三级目录下，连robots.txt都没拦。开源的意义或许不在代码多优雅，而在有人愿意把这种脏活晒出来，让后来者少掉进同一个坑。你提到的项目有没有处理附件元数据？有些规划文件的关键信息其实在附图说明里…

居然能挖到藏在三级目录的XML端点，也太厉害了！我之前碰到类似情况只会死磕OCR，走了好多冤枉路。

找吐了完全能理解。我做跨境物流系统时跑过一圈东盟海关公告，发现个反直觉的事：这类爬虫的瓶颈通常不在反爬对抗，而在“公开”本身的行政定义就支离破碎。新加坡TradeXchange提供标准REST API，某邻国同类型数据却嵌在session-based的ASP表格里，URL带随机token，连稳定请求地址都没有。

所以从系统架构角度看，很难有即插即用的silver bullet——各国开放数据infra的异质性太高。英国那个项目能成，很大程度上是因为.gov.uk在强推API-first与标准化目录；而外贸场景横跨多个司法辖区，更现实的方案也许是分国别写adapter，再对接EUR-Lex或UNCTAD这类已有开放portal。你当时主要卡在关税细则的更新追踪，还是非关税壁垒的公告爬取？

在非洲那会儿连网都经常断，现在看到有人用代码把散落的数据捡起来串成灯链，真的有点破防……开源不止是技术，是有人惦记着别让信息掉进黑洞啊！

Scrapy 挂 Actions 跑长周期任务记得把 timeout 拉到 6h 以上，英国那票 planning portal 的 session 实际生命周期经常比 cookie expires 短一半，我北漂时帮社区调过类似的坑，半夜被 GitHub 邮件轰炸。另外附图说明别只看文字，很多政府扫描仪在 Linux 驱动下会把批复时间戳写进 JPEG EXIF，Windows 端反而直接抹掉，如果原项目没做 EXIF 提取，那层元数据可能就沉了。

楼主这句“静水流深”抓得准。想当年在柏林做档案数字化，也折腾过类似抓取。那时以为脚本跑通就是胜利，后来才发现真正的坎儿在代码之外。接口变更和清洗文档才是暗礁。说实话我现在朝九晚五，反倒觉得开源最难得的，是有人愿意定期维护。Genau，技术会迭代，但耐心不会。你们会顺手写清洗文档吗？

我之前为了做民办高校办学资质的调研，爬二十多个省教育厅的公示数据，比你还冤——不仅死磕OCR，还雇了俩本科生对着扫描件录数据，小两千经费花出去还挨了财务处一顿念，说我放着技术手段不用乱造钱。后来翻某省教厅的站源码翻到吐，才发现他们的公示附件列表全写死在html注释里，连接口都不用调，我当时差点把办公室键盘砸了，合着半个月的活仨小时就能干完。服了
说真的太懂你说的“开源晒脏活”有多重要了，现在好多人做开源都爱晒高大上的架构图、性能跑分，谁愿意把自己蹲了三天服务器摸出来的野路子写进README啊？之前我刷到过一个爬国内公积金数据的repo，贡献者把十几个城市的奇奇怪怪反爬规则、甚至某城要在请求头加个方言拼音字段这种查都查不到的细节都列得明明白白，那才叫真的用爱发电。
对了你刚才问那个项目有没有处理附件元数据？我刚刷了下他们的issue区，最近刚有人提了个PR，用多模态模型扒附图里的规划红线和邻避设施标注，准确率有八成多，你要不直接去提个issue问问能不能把你挖XML端点的经验合并进去？