15年网安工程师实战：3周交付计算机视觉建站系统

　　去年一月，凌晨三点二十，我正用牙签剔着泡面盒底那坨凝固的蛋花，值班室灯管嗡嗡响得像台快散架的ATX电源——就这时候，监控屏右下角闪出个红框，不是告警，是整个面板黑了两秒，再亮时，Nginx进程数变成零。我伸手去摸键盘，指尖发黏，刚洗过手但没擦干，水珠顺着腕骨往下淌，在键盘F键上洇开一小片。我原以为是grafana崩了，结果切到跳板机，ps aux一敲，连dockerd都不在进程里。

　　客服说“可能云平台做了热迁移”，我说“热迁移不等于kill -9”，他停了三秒，回：“要不您重装Agent？”我挂了电话，把泡面盒推到显示器后面，挡住那个还在微微反光的“CPU 98%”红字。隔壁机房的噪音漏过来，是冷风机在抽气，一声长、两声短、第三声突然断掉——和上周四下午丢数据那会儿节奏一模一样。周四那天，运维老张蹲在机柜旁拿万用表测PDU电压，耳机线缠在手腕上，一边听一边念叨：“主从延迟三百毫秒？这都够我煮碗面了。”他煮完没吃，端着碗站窗边看雨，玻璃上全是雾气，外面路灯照进来，黄蒙蒙一团。

　　迁移脚本是我写的，跑完自动校验MD5，但校验完没写入日志——只打了个echo “done”，而那个echo被重定向到了/dev/null，因为怕占磁盘。结果那晚cron每小时拉一次，拉了十七次，logrotate又卡住，/var/log爆了。没人发现。直到CC攻击来了，WAF转发失败，流量全砸到后端，Python进程疯涨，撑爆内存，OOM killer把rsync给宰了。rsync正跑着，一半数据在/tmp，一半在/data，杀的时候它卡在unlink()里，没返回。我凌晨四点十五重启服务，先systemctl stop nginx，等十秒，确认没残留进程；再kill -9那三个还在sleep的python -m http.server，它们明明该死在启动脚本里，却硬是挂着；最后chown -R www-data:www-data /data，才start nginx。可/data里少了一整个cv-models子目录——不是删了，是权限不对，owner是root，但容器用的是nobody，所以加载模型时报错，报错还被gunicorn吞了，日志只记了“worker timeout”。

　　老板在群里发了个表情包，穿白大褂戴护目镜那种，配字“咱们的CV系统就像手术刀”。我没回。我盯着屏幕左上角时间，四十来分钟过去，监控还没恢复，钉钉消息一条叠一条，有人贴截图说“用户上传图片后页面空白”，有人甩curl -I的结果：“HTTP/1.1 502 Bad Gateway”，还有人问“证书是不是又过期了”。我查了，没过期。但Let’s Encrypt的renew脚本里有个--post-hook，执行一个chmod +x /etc/nginx/conf.d/auto.conf，可那天磁盘满，post-hook根本没跑，conf文件还是只读。我改完权限，reload nginx，页面出来了，但用户上传的图像全被裁成128×128——模型输入层等着256×256，所以推理输出全飘。这个我到现在也没想明白：是PyTorch Dataloader默认resize错了？还是前端JS调用canvas.toDataURL时压缩参数崩了？不确定。

　　中午十一点，我蹲在机房门口啃包子，馅儿是豆沙的，甜得发苦。隔壁组的小陈抱着笔记本冲出来，说“DNS解析出问题”，我抬头看了眼他屏幕上dig +short cv.studio 返回空，我说“你dig的服务器是不是配了local-resolver？”，他愣住，然后低头戳终端，半晌说：“哦……我配的114.114.114.114被你们防火墙drop了。”我嚼着包子点点头。他忽然问：“你们备份到底跑没跑？”我咽下最后一口，“跑了。但备份脚本把tar --exclude='/tmp'写成--exclude '/tmp'，多了一个空格，所以/tmp里的临时训练权重全打进去了，备份包27G，解压出来全是乱码模型。上个月迁移丢的数据，其实就混在那堆乱码里。”他没接话，转身回去，背影晃了一下，大概是被门框绊了。

　　昨天收拾抽屉，翻出前年搬家时塞进去的旧U盘，插电脑一看，里面存着2017年做WAF规则的Excel，密密麻麻六百多行正则，其中有一条写着：“匹配‘/admin/.\\.php’，重写为403——但放行/wp-admin/”。我盯着看了两分钟，没拔U盘，让它一直插着。那年我们真敢啊，靠肉眼调正则，没日志验证，没A/B灰度，上线就切全量。现在倒好，连一个upload接口都要过七道审批、加五层鉴权、埋三套埋点——结果模型加载失败，居然靠我手动touch /data/cv-models/.version才绕过去。

文章配图，仅供参考

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!