营销运营双轮驱动的性能压测底层逻辑

　　去年五月，凌晨三点二十，我正蹲在IDC机房二楼缓冲间啃冷泡面，铝箔盖掀开那一秒，汤汁滴在监控屏右下角贴着的那块胶布上——去年十一月粘的，早发黄卷边了。屏上十七个告警窗口全灰着，只有DNS解析延迟曲线还在抽搐，像心电图快停之前最后几下颤动。

文章配图，仅供参考

　　我原以为是CDN节点崩了，顺手敲了三行dig -t A marketing-api.prod，等结果时听见隔壁机柜风扇突然哑了半秒，又猛地狂转，嗡——咔——嗡——咔。老张从走道另一头跑过来，工牌绳子甩得噼啪响，手里捏着一张皱巴巴的压测方案打印纸，边喘边念：“……双轮驱动……营销侧推50万券，运营侧做3000场AB测试……”我打断他：“券和AB测试都走同一套风控路由？”他点头。我“哦”了一声，没再说下去——那路由后端连着同一个Redis集群，主从同步用的还是RDB快照，不是AOF。

　　四点零七分，磁盘报警弹窗堆到十七层高，/data/redis 下两个快照文件膨胀到82G，占满LVM逻辑卷。备份脚本没跑。不是挂了，是压根没触发：它守着crontab里那个“每天凌晨四点整”的定时器，而这次压测是营销部凌晨三点五十突然追加的第三波流量——他们改了灰度开关，但没同步到运维日历里。小王在值班室打电话，声音发虚：“客服刚报上来，用户领券失败提示‘系统繁忙’，可日志里全是‘connection refused’……”我盯着他身后白板，上面还写着三天前搬家时留下的字：「网线标签胶带太脆，扯断两根」。

　　五点十四分，老板在运维大群甩来截图，是钉钉机器人转发的运营部战报：“GMV破峰！DAU+47%！”底下跟了条语音，十五秒，他语速飞快：“李工你先稳住，技术复盘明天上午十点，咱们双轮驱动这事，得沉淀方法论。”我按了暂停键，重听了三遍——他说的是“沉淀”，不是“修”。窗外开始下雨，雨点砸在机房顶棚的隔音棉上，闷闷的，像有人在拍打旧鼓面。

　　其实最疼的不是磁盘满。是早上六点半，我手动删掉那两个RDB快照前，顺手看了眼Redis info replication，slave_repl_offset 和 master_repl_offset 差了214万字节。差值不是恒定的，而是每分钟跳变一次，像心率不齐。这个数字我至今也没想明白——是网络抖动丢包？是主库写入卡在fsync？还是那个被注释掉的# slave-serve-stale-data yes 配置真在某个角落起效了？算了。我撕开新一包泡面，热水倒进去时，看见小王女儿打来电话，屏幕亮着“爸爸今天回不回家”，他接起来，只说：“马上，爸爸马上把灯修好。”

　　有次搬家，我往纸箱里塞硬盘，箱子底部突然塌了，五块SSD滚到楼道拐角，其中一块亮着红灯。物业大叔蹲下来捡，摸了摸说：“哎哟，这灯好久没见过了。”我愣住。他笑着指指自己耳朵：“我干这行三十年，听见红灯响，就知道该拿螺丝刀还是拿香。”我没笑。现在我懂了——有些灯亮着，就只是亮着；不意味着告警，也不意味着故障，就是灯在那儿，闪一下，又灭了。

　　回到这次。监控屏右下角那块胶布，昨天被小王撕掉换新了，但他忘了擦干净旧胶痕，留下一道浅褐色印子，像陈年茶渍。证书过期这事我们躲过去了——去年十月刚续的。DNS解析出问题？查了，权威NS和本地递归都没异样。CC攻击？WAF日志里没有恶意UA，只有海量GET /api/v2/coupon/redeem?couponId= 开头的请求，ID全不同，但User-Agent都是同一个安卓WebView版本号。这号是运营同学自己写的脚本伪造的，用来模拟真实用户点击路径……结果它比真实用户还执着，每两秒刷一次，连着跑了四十三分钟，中间没休眠。没人告诉脚本该睡几秒。

　　我重启服务的时候手是抖的。第一步，systemctl stop redis-server；第二步，rm -f /data/redis/dump.rdb /data/redis/appendonly.aof；第三步，systemctl start redis-server——等了整整四十来分钟，看repl_sync_start 这一行才重新出现。这期间老张一直站在我右边，左手捏着半截笔，右手无意识在工装裤口袋里掏，掏出个蓝色儿童创可贴，是他闺女贴错位置又被撕下来的，上面印着歪斜的卡通猫。他把它折了三折，塞回口袋。

　　优胜劣汰？站得住。你看那些没扛住的，有的是Redis配置没开maxmemory-policy allkeys-lru，直接OOM killer；有的是数据库连接池死锁在事务隔离级别切换上；还有的，压根没上监控——连Zabbix agent都懒得装，就靠人肉tail -f error.log。它们活该淘汰。可问题是谁在定义“优”？是能扛住五百万QPS的机器？还是凌晨三点还能清醒指出“A/B测试分流逻辑不该经过风控缓存层”的人？我说不清。我只知道，当小王把女儿电话挂断后，盯着监控屏上那道茶渍似的胶布印，忽然说：“要是昨天我把那块旧胶布擦干净，会不会少踩一个坑？”我摇头。胶布不是坑。坑是胶布遮住的那颗松动的螺丝。

　　明天先把告警阈值调了。不是调高，是拆开——把“磁盘使用率>90%”这条，换成“/data/redis 目录下RDB文件体积增长速率>1.2GB/min 且持续超3分钟”。别的，等天亮再说。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!