云端视觉模型卡顿？三步网络优化达毫秒响应

　　去年十月份，凌晨三点二十，我正蹲在IDC机房二楼值班室啃半冷的酸菜牛肉面，汤上浮着一层油花，手机震了一下——客服群跳出来三条未读：“模型推理响应卡住”“用户说上传照片后转圈五分钟”“刚有个商家电话里吼‘你们是不是把GPU当电风扇吹’”。

文章配图，仅供参考

　　我手一抖，面汤洒在裤子上。不是心疼裤子，是那会儿监控屏右下角弹窗闪得像心电图：cdn-aliyun-3b节点RTT突刺到1.7秒，而它平时是42毫秒——这个数我闭眼都能写，上周三下午还拿它怼过CDN厂商，说他们SLA虚标，结果人家回了张带水印的trace截图，连AS号都糊了两笔。

　　我原以为又是证书续签翻车，毕竟上个月Let’s Encrypt那个ACMEv2接口抽风，害我们凌晨四点手动跑curl加-pem-path，老张边敲命令边念叨“这破玩意儿比我家娃断奶还难伺候”，话音没落，他闺女视频通话突然弹出来，背景里锅铲哐当响，她举着半块煎饼果子喊“爸爸你那边黑乎乎的像烧糊的葱油饼”。

　　可这次不是证书。DNS缓存查了，ttl没改过；主从延迟盯了十分钟，0.02秒；TLS握手日志扫了三遍，handshake_time全在150ms内浮动。反倒是CDN回源链路上，阿里云上海节点到我们深圳自建视觉服务集群之间，tcp_retransmit_rate突然涨到11%，再往下扒，丢包率没动，重传全是同一个目的端口——52083。对，就是那个被运维组集体吐槽“当年为躲防火墙备案故意选的五位数高端口”。

　　我顺手敲netstat -an | grep :52083，输出里密密麻麻三百多条ESTABLISHED，其中两百多条State是CLOSE_WAIT。这时候我才想起来，三个月前上线新版本时，小王提过一句“视觉服务HTTP客户端没配timeout，上游超时靠nginx proxy_read_timeout顶着”，我当时叼着棒棒糖点头说“行”，棒棒糖棍还插在键盘F5键缝里，现在F5键早不亮了。

　　窗外开始下雨，雨点砸在机房空调外机上，噗噗噗，跟心跳一样慢半拍。我盯着屏幕左上角那个贴着电工胶布的告警灯——上次修它，师傅说“胶布比你们告警逻辑还可靠”，后来真有次内存OOM，监控屏亮着红光，胶布底下绿灯却固执地闪。我撕开胶布一角，里面电路板锈了一小片。

　　三步？真就三步。第一步，砍掉所有非必要域名解析路径，把CDN回源host直接写死成VIP，绕开那一层被劫持过三次的二级DNS服务商；第二步，在入口Nginx加个proxy_next_upstream error timeout http_502，不是默认值，是硬写成error timeout http_502 http_504 http_408；第三步，把视觉服务的http client timeout从0改成1200ms——不能更短，因为最慢一张20MP图做OCR要980ms，这个数我测过二十七次，用同一台MacBook Pro，同一个OpenCV版本，连电源适配器都没换过。

　　改完reload，没敢点回车，先去隔壁工位摸了摸老李桌上那盆发财树——叶子有点蔫，但土还是潮的。他去年搬家，把整棵植物连盆抗上地铁，说“比迁库安全”。结果搬完第三天，redis哨兵脑裂，他蹲在服务器架旁抠指甲缝里的水泥灰，嘴里重复：“我搬树都没这么费劲。”

　　我回自己工位，回车。RTT回落到56毫秒。又试了七次上传，最快412ms，最慢589ms。这时老板在运维大群甩来一行字：“刚才看数据，卡顿消失得挺快啊？技术部能发个简报不？”我没回。手指悬在键盘上，盯着自己指甲盖里一点洗不净的泡面油渍。那会儿忽然想起上上个月迁移测试环境，备份脚本少跑了一行mysqldump --skip-triggers，上线后才发现某个促销券表的触发器全丢了，补的时候发现生产库binlog里有一条UPDATE user SET credit = credit + 100 WHERE id = 667821 ——根本没人下过这个单，但钱确实进了那个账户。我们最后没查出是谁干的，只看到日志里夹着一条被截断的curl请求，User-Agent写着“Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36”，后面跟着四个空格，再无下文。

　　这个我到现在也没想明白。就像这次，为什么偏偏是52083端口的CLOSE_WAIT堆成山？我们压测从来没复现过，灰度时也一切正常，直到十月十八号晚八点十九分，杭州商户集中上传双十一大促素材，第一张图进来的瞬间，它就卡住了。而我们之前做的所有压力测试——包括模拟十倍并发——用的都是本地构造的PNG，没有一张是iPhone拍的竖屏JPG，带EXIF orientation=6那种。这个细节，写在文档里，但没人真跑一遍。

　　我关掉终端窗口，听见值班室门轴吱呀一声。门口站着刚接完电话的小刘，手里攥着半张便签纸，上面是客服抄来的用户ID，“那个骂GPU当电风扇吹的”，他说，“ID是shz_zx_1998，查了，注册时间2019年，主营五金工具，最近半年买了四十二次视觉识别套餐。”他顿了顿，“你猜怎么着？他昨天下午三点十五分，手动删过一次自己的API密钥。”

　　我点头。没说话。手边那碗面已经彻底凉透，油凝成一块半透明的膜，浮在汤面上，像一层薄薄的霜。

　　明天先把告警阈值调了，把TCP重传率基线从5%降到1.8%，低于这个值就不发消息——上个月误报太多，我屏蔽了钉钉推送三次。不过这次，得让运维把机房窗户关严实点，今晚雨声太响，盖过了空调外机的嗡鸣，而后者，恰恰是上一轮磁盘IO暴涨时最先停转的声音。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!