站长圈从不公开的App技术真相，11年开发者拆解

　　去年端午，凌晨三点二十，我蹲在IDC机房门口啃半包辣条——不是饿，是手抖得捏不住筷子。值班室那台老式挂壁空调嗡嗡响，像有只鸽子卡在风轮里扑腾，监控屏右下角贴着胶布，盖住去年冬天裂开的屏线接口。我盯着主屏左上角的磁盘IO曲线，它平得像块板砖，可底下那行小字“/data partition usage: 99%”红得刺眼。

　　我原以为清日志能顶两小时，结果刚rm -rf /var/log/app/，后台服务连着三台MySQL从库同时报错“no space left on device”，连systemd都开始拒收新进程，说“fork: Cannot allocate memory”。不是磁盘满，是inodes耗尽。没人碰过/var/spool/postfix/maildrop——那个目录里堆着两万三千四百多个0字节的.1234567890abc.def垃圾文件，全是三年前一个客服系统升级后留下的残血定时任务，一直没被清理。它不占空间，只吃inodes。它不报警，因为没人给inodes配告警。

　　而监控组老张凌晨四点上线，第一句不是查日志，是问：“证书续上了没？”——他以为是Let’s Encrypt自动续签失败导致HTTPS握手全挂。其实没挂，HTTP端口还在听，但APP端一打开就弹“网络异常”，因为iOS 17.4强制校验TLS SNI字段，而我们nginx配置里把server_name写成了$host而不是显式域名，SNI回传空。这个细节我调了四十来分钟才抓到tcpdump里那串被截断的Client Hello。可这时候APP已经崩了十七万次启动失败，用户反馈刷屏到客服邮箱直接爆满。

　　老板在运维大群发了个截图，是友商App闪退率从0.3%跳到2.1%的折线图，配文：“你们看看人家。”我没回。我盯着自己电脑右下角的时间——四点四十一，窗外开始下雨，雨点砸在机房通风窗上的节奏忽快忽慢，像谁在敲摩斯电码。隔壁工位小王刚把他闺女哄睡，手机屏还亮着钉钉，上面是他老婆发来的消息：“奶粉快没了，你明早顺路带两罐。”他头都没抬，手指在键盘上划拉，“等我把这波DNS缓存先flush掉……”

　　DNS这事真邪门。我们切了备用CDN节点，主站解析没动，可APP里的某个旧版埋点SDK，硬编码了2018年买的那台老云主机IP，它压根不走DNS，也不走HTTPS，就往死里POST纯文本到http://118.27.32.198:8080/track。那台机器去年十月就下线了，IP回收进池子，转租给了某P2P备案壳公司。今天他们凌晨三点突然发了一轮合规自查扫描，所有端口回SYN-ACK——我们的SDK以为“连接成功”，结果把埋点JSON打成乱码塞进去，对方服务器当攻击日志扔进WAF黑名单，顺手把整段BGP路由给blackhole了。我们整个APAC区域的静态资源下载延迟飙到8秒。这个我到现在也没想明白：为啥WAF黑名单能反向污染到骨干网路由表？还是只是巧合？

　　最离谱的是备份。数据库凌晨两点跑全量，备份脚本本身正常，log里写着“SUCCESS”，连个换行都没少。可凌晨三点查/data/backup/，发现最新那份tar.gz只有12KB——里面是空目录结构。原因？备份时用的tar命令加了--exclude='/tmp'，可我们临时表全建在/tmp/mysql_tmp/下，而mysql配置里tmpdir=’/tmp’，于是mysqldump导出的SQL里CREATE TEMPORARY TABLE语句全被忽略。备份跑完了，没数据。但监控只看脚本退出码，不是看tar大小。没人看size，就像没人看inodes。

文章配图，仅供参考

　　去年搬家，我打包硬盘的时候把三年前一台测试服的root密码贴在SSD背面，用透明胶带粘着。新办公室空调冷凝水滴下来，胶带翘边，密码糊成一条灰线。现在那块盘躺在我家书柜第三格，和几本绝版《UNIX环境高级编程》一起积灰。我昨天翻出来试了三次，最后一次输对了，进去发现里面有个叫“fake_ddos_sim”的目录，里头python脚本注释写着：“仅供压力演示，勿上生产——2021.08.17 @李工”。李工上个月裸辞去了杭州做跨境电商独立站。我没删，也没打开。有些东西就是不该重启。

　　中午十一点，客服总监冲进机房说“苹果审核要毙掉我们新版本”，因为审核员在TestFlight里连续三次打开首页就白屏。我们查了所有CDN、所有API、所有证书链——全绿。最后发现，是APP启动时加载的那张默认欢迎图，尺寸设成了12800×7200，Photoshop里误存为PSD嵌套格式，iOS imageIO解码器直接抛SIGBUS。图藏在Assets.car里，Xcode编译时不报错。崩溃日志里只有一行“Termination Reason: Namespace SIGNAL, Code 0xb”，连堆栈都没。我重切一张PNG，重新打bundle，上传，五分钟后审核通过。整个过程比修磁盘慢不到哪儿去。

　　优胜劣汰不是口号。是当你在机房蹲着抠手机壳缝隙里的灰尘时，隔壁创业公司CTO正用Grafana看自己服务SLA稳在99.99%，他没经历过inodes告警不触发的惨案；是你凌晨四点反复输入rm -rf /var/log/app/却忘了加-s参数，系统卡死在确认提示上时，新来的实习生已经用ansible一键回滚了三套环境。淘汰不是因为你写错一行SQL，而是因为你信了“监控全绿就等于没事”；不是因为证书过期，而是因为你让证书过期变成常态操作。站长圈不公开的真相？真相是没人真在乎真相——只要下次还能跑起来。

　　明天先把告警阈值调了，inodes、tar大小、SNI字段响应、甚至WAF黑洞状态……能写的都写上。反正脚本跑完我也不看，让它钉钉群里@所有人。对了，泡面盒还在桌上，汤凉透了，浮着层黄油花。我得把它扔了，再找张新的胶布，贴住监控屏右下角那道裂痕。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!