运营中心实时交互系统：毫秒级决策全链路可溯可管可优

　　凌晨三点二十，机房空调嗡嗡声突然低了半度——不是坏了，是压缩机喘气。我蹲在IDC最后一排机柜前，后颈全是汗，摸着3U那台Redis节点的散热片发烫得能煎蛋。监控屏右下角贴着三块胶布，补的是去年换屏幕时留下的裂痕，其中一块底下压着张泛黄便签：「主从同步延迟＞800ms告警已关」。我盯着那行字看了七秒，没动。

文章配图，仅供参考

　　值班室泡面桶堆在机柜底座旁，汤汁早凝成琥珀色膜。客服小张微信弹出来：「用户说点一下按钮卡住，但后台日志里没记录点击事件——是不是前端没发？」我没回。上头老板刚在运维大群甩了句：「运营中心实时交互系统：毫秒级决策全链路可溯可管可优，这个slogan能不能扛住今晚？」——他打完就撤了，连个句号都没留。我盯着那句，像盯着一张过期的SSL证书续费单。

　　我原以为是Kafka堆积。毕竟2月19号那轮促销压测，Consumer Group明明把offset提交频率调到100ms，结果下游Flink作业还是飘了两秒。结果查完所有broker日志，消费位点纹丝不动。再看ZooKeeper连接池，50个连接只用了3个。我重启了Kafka broker——不对，是先改了/etc/hosts加了一条localhost解析，再杀掉jvm进程，最后敲了systemctl start kafka。四十来分钟里，我光等那个Ctrl+C后的kill -15响应就数了三十七次心跳。

　　窗外下雨，雨点砸在机房西侧玻璃上像弹珠。隔壁组老陈叼着烟路过，看见我在抠交换机console口胶套：“又挂？”我点头，他吐了口白雾：“上周你们迁移丢的那批用户行为埋点，我查了HBase表——时间戳全差了3小时。”我手一抖，把console线拔歪了。他没走，蹲下来，指着机柜顶部那个老式温湿度计：“你看这水银柱，昨天还是36℃，今早掉到28℃——空调没坏，是制冷剂漏了。你们那套‘全链路可溯’，能溯出这根铜管哪个焊点松了吗？”

　　磁盘爆了。不是root分区，是/data/prometheus下那个wal目录。df -h一看，99%。我删了三个小时前的wal segment——删之前照例grep了下有没有正在commit的record，没grep出来。可刚删完，Alertmanager里“prometheus_target_up == 0”的告警就塌方式炸开。这时候我才想起来，Prometheus v2.32有个坑：wal清理逻辑依赖于一个叫mmaped chunks的状态标记，而我们那台机器上次内核升级没reload systemd，mmap区一直挂着旧页表。这个我到现在也没想明白，为啥同版本同样配置的其他四台，就它跪得这么脆。

　　我跑去拉GitLab的CI日志。想看部署流水线里有没有人偷偷改过/etc/fstab。结果发现deploy job的output里混着一段报错：“failed to mount /data: device busy”，但job status显示success——因为判断条件写成了grep -q “Mount success”。我就在这儿卡了八分钟。不是看日志，是看着屏幕上那行绿色的SUCCESS发呆。旁边工位新来的实习生探头：“老师，这个mount失败…是不是要重跑部署？”我没说话，他手机响了，是他妈视频电话，孩子在镜头里举着乐高火箭：“爸爸！我的火箭飞去火星啦！”他赶紧按掉。我听见自己喉咙里咕噜一声，像硬盘寻道失速。

　　DNS也瘸了。不是解析不了，是TTL设成1，而上游dnsmasq缓存策略写了cache-size=10，结果一拨请求打进来，它开始疯狂向上游递归。我抓包看到DNS Query的QID乱跳，根本对不上Response。查bind日志发现大量REFUSED，翻到配置才发现去年迁移到Cloudflare之后，我们还在用内部dnsmasq做forwarder，却忘了关它的recursive开关。这个坑，是我去年十一月亲手挖的，当时觉得“反正不对外”。我靠在墙边抠指甲缝里的灰，想起上一次搬家——搬工说抽屉里东西自己清，我没清，塞进纸箱运到新办公室，打开发现全是前任留下的纸质拓扑图和手写密钥本，墨迹晕染，字迹模糊，现在还在第三格文件柜最底下压着。

　　被CC了。不是海量请求，是每秒270个精心构造的GraphQL query，嵌套深达19层，字段名全用零宽空格填充。WAF日志里显示拦截率100%，但API网关的goroutine暴涨到4800，HTTP keep-alive超时直接卡死在TCP ESTABLISHED状态。我杀掉了两个pod，手动滚动更新deployment，yaml里多加了livenessProbe.httpGet.path: "/healthz?ts=1708329152"，因为健康检查端点默认没带参数校验。重启完第三台时，天开始亮，东边云层透出灰青色。值班同事老李端着保温杯过来：“听说你昨晚跟Redis吵架？”我点点头。他掀开盖子吹了吹热气：“上个月审计说，我们的‘可管’体现在CMDB里每个节点填了运维负责人姓名——但填的是‘张三（待确认）’。”他笑了一声，没再说下去。

　　运营中心实时交互系统：毫秒级决策全链路可溯可管可优。这话站得住的地方，从来不是它不崩，而是崩了以后谁先死、谁后死、谁扛得住三波重试、谁在第四次熔断前就主动降级。优胜劣汰——不是人淘汰人，是代码淘汰代码，是指标淘汰指标，是活下来的那半条告警规则，替死掉的另外三条继续喊。昨夜那台Redis节点，最终没恢复主从同步，我切了读流量到哨兵集群，但没通知前端改地址。他们以为是浏览器缓存，清了三次才好。所以今天早上九点，我要做的第一件事，不是写复盘报告，不是开大会，是去把所有服务的HTTP liveness probe都加上curl -I的超时参数，-m 3。至于Prometheus的wal目录？先不管。等明天再说。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!