边缘AI工程师:技术人深度闭门研讨
|
去年寒假,腊月二十三小年那天下午四点零七分,我盯着监控屏右下角那个跳着变红的 CPU 百分比,手还捏着半截没吸完的烟——烟灰掉在键盘 ESC 键上,一抖就全进去了。这破机器风扇声忽然压过了机房背景噪音,不是嗡嗡,是吱…吱…吱…像指甲刮白板,但只刮三下,停两秒,再刮。 我原以为是模型推理并发突增,调了下 batch_size,重载配置,重启 inferd 服务——先杀进程(ps aux | grep inferd | awk '{print $2}' | xargs kill -9),等三秒,再跑 systemctl start inferd,再盯十秒,CPU 没降。反而硬盘 IO wait 飙到 98%。我抄起笔记本就往机柜后头钻,蹲着摸了下那台边缘盒子的散热片:烫得能煎蛋,但风扇转得有气无力。伸手一抠——后盖卡扣断了一根,胶布贴着的,蓝胶带,印着“XX科技 售后专用”,歪歪扭扭粘在散热鳍片缝隙里。 值班室泡面桶堆在服务器架底下,红烧牛肉味,汤都凉透了结了层油膜。我掏出手机想打客服,屏幕刚亮,老板在群里甩了条语音:“老张,模型输出全乱码,是不是输入通道被劫了?”我没回,先拔了那台盒子的网线——插回去的时候,网口灯不闪。换口,还是不闪。摸网线头,铜芯发黑。我抬头看了眼天花板上的消防喷淋头,滴水没滴,但上周三暴雨,机房西侧渗过一次,修理工拿抹布裹着空调排水管堵了半小时,水印子还在墙皮上洇着。 我翻出备用交换机,插上,通电,指示灯全绿。接上那台盒子,网口灯亮了。推流恢复。可三分钟后,所有终端上报的推理结果里,“person”全变成了“p3r50n”,“car”变成“c@r”。不是乱码,是规律性字符替换。我抓包看 RTSP 流,payload 里嵌着的 JSON 元数据字段值全被改写。不是模型问题——本地跑一遍原始 bin,输出干净利落。是中间哪层 proxy 被动了手脚?可我们根本没配 proxy。我们连 nginx 都没装,就用的 frpc 直连主站。我打开 frpc 日志,搜 “p3r50n”,没匹配。又搜 “proxy”,日志里跳出一行:[INFO] [control.go:188] login to server success, get run id xxxxx —— 但 run id 后面多了一串 base64,解出来是 “/etc/frp/conf.d/.hidden”。 这时候同事王磊踹开机房门冲进来,羽绒服帽子还扣在头上,头发压扁了,手里拎着一兜橘子:“你他妈快看这个!”他把手机怼到我眼前,是我们客户群的截图——有人发了个“AI测运势”H5,点击即跳转到我们某地市的边缘节点域名,证书是自签的,CN 写的是“ai-fengxian-dev-2023”。我说这不对啊,我们所有边缘节点用的都是泛域名证书,主站下发统一管理,这玩意儿谁配的?王磊说:“昨天运维老周说他帮新来的实习生顺手补了个测试环境,没走变更流程。” 我想起老周前天还在茶水间跟我叹气,说他儿子要小升初,晚上六点准时下班雷打不动,手机从来静音。我原以为他是怕耽误孩子辅导,结果他压根儿没看见审批邮件——邮件被归进了“订阅通知”,而他的 Outlook 规则把所有含“frp”和“dev”的都自动归档,十年没改过。 窗外雨又下了,不是毛毛雨,是砸玻璃的那种。值班室玻璃上早就有道裂痕,胶布从左上角横着拉到右下角,去年台风留下的。我盯着那道胶布,忽然想起上一次搬家——纸箱写了“路由器配件”,结果拆箱时发现全是旧主板,一块好使的没有,全是我五年前焊坏的 Jetson Nano 散热底座。人总信自己亲手拧紧的螺丝不会松,其实松得最早的就是那种没打扭矩、只凭手感拧到底的。 磁盘满了,不是因为日志滚太多,是因为 /var/log/inferd 下多了个 .git 目录——里面全是训练脚本草稿,commit 记录停在十二月十八号,作者邮箱是实习生用 QQ 注册的,用户名叫“aipupil_2024”。他 git push 到了 edge-node 这台机器的本地仓库,然后忘删。df -h 看 /dev/sda1,99%,但 du -sh /var/log/inferd 才 3.2G。我 cd 进去 ls -la,才发现 .git/objects/pack 里有三个 .idx 和 .pack 文件,单个 37G。这小子居然把整个 ResNet50 的预训练权重当大文件 commit 进去了,还加了 --force。我没有立刻删 pack 文件——不敢。这玩意儿绑着 model-serving 的 version check 逻辑,一删,版本号校验失败,服务会拒启。我只能先 stop 掉 supervisorctl 里的所有子进程,再 touch /tmp/hold_git_lock,再进 .git 做 filter-branch……操作到一半,监控屏左上角弹出告警:NTP 同步失联,时间漂移 127 秒。我愣了两秒——我们没配 NTP client。唯一可能的时间源是那台挂着的树莓派,它上面跑着一个 python 脚本,每五分钟 curl 一次 pool.ntp.org,再 ntpdate -s。而那个脚本,昨天就被王磊顺手 kill -9 过,因为占了他调试摄像头 ISP 参数的串口。 最瘆人的是最后十分钟。所有推理延迟突降至 8ms,但输出全为空。不是 null,是空字符串,length=0。不是崩溃,是沉默。我 tcpdump 抓了三次包,发现 ACK 序列号对不上;查内核 dmesg,看到一行 soft lockup:CPU#2 stuck for 22s! 但 top 里 load 不高,iowait 也没飙。这我到现在也没想明白。我就知道凌晨三点二十,我坐在椅子上听见自己后槽牙在咬,咔哒,咔哒,像硬盘寻道。监控屏上贴着的胶布边角翘起来了,我伸手想去按平,结果扯下来一小片,露出底下去年写的字:“别动这台——老张 10.17”。 客服回电话来只说了三句:“您确认已升级 frp 至 v0.54.2 吗?”“您有没有开启加密传输?”“请提供您的 license key 截图。”我挂了。老板在群里发了个红包,封面写着“挺住兄弟们”,领的人不多,两个没抢,一个是王磊,他在机房外抽烟,另一个是老周,他孩子打来电话问“爸爸你什么时候回来包饺子”,他捂着听筒说了句“马上”,就再没松手。
文章配图,仅供参考 明天先把告警阈值调了——不是调 CPU,是调 inode 使用率,再加个 /var/log/inferd/.git 子目录的 inotify watch。其它的,等年后再说。我现在只想把键盘上那截烟灰抠出来。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


深度学习工程师秘而不宣的代码重构三原则
鸿蒙工程师:代码困局到生态破局的思维跃迁
嵌入式工程师13年:不接外包,私域年入200万
深度学习工程师绝口不提的三大安全认知盲区
传媒资讯分类总出错?7年测试工程师揭秘智能算法提效真相
PHP工程师必避的5大服务器选型陷阱与调优实战
ASP进阶实战:边缘AI工程师的站长跃迁
