Unix调试总卡壳?5个技术隐性陷阱你中招了吗
|
凌晨三点二十,我盯着监控屏右下角那个歪贴的蓝色胶布——上回屏幕裂了,胶布底下压着半截没撕净的“故障自愈中”标签。窗外雨刮器早坏了,玻璃上横着三道水痕,像没擦干净的 SSH 登录失败日志。 去年过年期间,我们那套跑在 Solaris 11 上的老调度器突然开始丢任务。不是全挂,是隔三差五漏一个,漏得毫无规律。我原以为又是 cron 的时区和系统时间对不齐,结果发现 crontab -l 里那行 /5 的脚本根本没跑——但 /var/log/cron 显示它跑了。跑了,却没留下任何 output,连重定向到 /dev/null 都没留痕迹。这不对劲。真不对劲。 我蹲在机房门口换硬盘时,老张拎着保温杯路过,说:“你听这风扇声没?比去年低半个调。”我没接话,但那会儿机柜里确实闷,热风从后门灌进来,带着点焦糊味——不是电源烧了,是某台 IBM 小机上的 UPS 继电器在哼,已经哼了四个月,没人管。值班室泡面桶堆在桌角,三盒红烧牛肉,汤都干成琥珀色了。谁也没动。隔壁组小陈刚接完电话,他女儿在电话那头哭:“爸爸你答应陪我搭乐高城堡的!”他捂着听筒说:“爸爸马上好,马上好”,然后转头就问我,“兄弟,/tmp 下能清不?”我说:“清,清,但你先看看 df -h 输出里那个 97% 是挂在哪的。” 第一个陷阱:你以为 df -h 挂的是 /,其实是 /var/adm 的子挂载点,而它被某个 auditd 日志轮转脚本锁死了 inode;第二个陷阱:那个脚本本身用了 find /var/adm -name ".aud" -mtime +30 -delete,但没加 -xdev,它把 /proc/kcore 当普通文件扫了一遍,扫到一半卡住,整个 auditd 子系统僵在那里不动弹;第三个陷阱最阴——你查 uptime、ps aux、strace -p 都没用,因为问题出在 libc 的 gethostbyname_r 实现上,它在 resolver 缓存失效后反复 fallback 到 /etc/hosts,而 /etc/hosts 第 203 行多了一个空格+Tab+井号,导致整行解析失败,进而让所有 DNS 解析超时变成阻塞等待,而不是快速失败。这个我到现在也没想明白为什么只影响我们的调度器线程,不影响 sshd。
文章配图,仅供参考 我一边敲着 kdump -H 一边骂自己:又不是第一次见空格坑 DNS,怎么还往 hosts 里手敲注释?去年搬家打包的时候,我把三块 SAS 盘塞进同一个防静电袋,结果上电后两块盘互认成 RAID 0 成员,第三块拒绝识别——跟这次一样,都是看起来无关的旧债,冷不丁在除夕夜翻出来打脸。老板在运维大群里发了个红包,配文:“辛苦了,扛住!” 红包没抢,他下一条又追加:“别动核心配置,等节后晨会拉通”。我手指悬在键盘上,停了十秒,删掉刚打好的“config 已回滚”,改打:“正在确认 /etc/nsswitch.conf 优先级顺序”。 第四个陷阱是证书链。不是过期,是中间 CA 根变了。上游换了签名密钥,但我们那台 AIX 上 openssl s_client -connect 检查时,用的是老系统自带的 certs 目录,而目录里那个叫 “Entrust_Root_Certification_Authority_G2.pem” 的文件名没错,内容却是 G1 的哈希值。你查 md5sum?一样。你 diff?显示二进制相同。可 openssl verify 说:unable to get issuer certificate。后来才发现是文件被硬链接覆盖了,inode 没变,内容早替了,stat 和 ls -l 都看不出区别。客服说:“你们升级 OpenSSL 吧。” 我说:“AIX 7.2 默认不带 1.1.1,装第三方包要 re-link libc。” 他顿了三秒:“那……重启试试?” 第五个?DNS TTL。我们用 bind9 做权威,主从之间设的 60 秒,看着很短,其实坑得很。某天从节点同步慢了四十来分钟,但主节点早就把 zone 文件 reload 了三次,新记录已生效。这时候你 dig @从节点,它回答 NXDOMAIN,而且声称 TTL 是 3600 秒——它在撒谎,它返回的是本地缓存的老答案,但没告诉你那是缓存,还把 TTL 标成了 3600,让你误以为还能活一小时。而你手里的监控脚本只看 RCODE,不看 AA 标志位,于是告警没响。这不是 bug,是设计。是优胜劣汰的设计——能扛住这种毛刺的系统活下来了,没扛住的,比如我们那套老调度器,就只能靠人肉守着 screen。 我忽然想起上个月搬家。房东非让我签一份补充协议,写明“空调外机支架承重不超 35 公斤”,可我家那台外机连支架带雪水冰碴,少说得有 42 公斤。他说:“签吧,出了事跟你没关系。” 我签了。签完他嘿嘿一笑:“反正你租三个月。” ——Unix 世界也这样。所有没被锤爆的配置,不是因为正确,只是还没轮到它被锤。去年过年,我们丢了三天的任务日志,但没丢数据,没丢订单,甚至用户没感知。这算幸运?还是说,我们早习惯了在裂缝里跑服务,把“没崩”当成功? 小陈又端着泡面来了,汤都快凉透了。“兄弟,/tmp 清完了,但 /var/tmp 下还有个 .bash_history,谁留的?写满了六百多万行。” 我抬头看了眼屏幕,胶布边角翘起来了。雨还在下,水痕滑到一半,停了。 明天先把告警阈值调了,把 /var/adm 的 inodes 告警单独拆出来。至于 nsswitch.conf……今晚先不碰。再给我两小时,我想再试一次 strace -f -e trace=connect,sendto,recvfrom -p `pgrep -f dispatcher`。万一它是在等某个 socket 连接超时——可谁会连那个地址?那个 IP 段,三年前就废弃了。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


嵌入式开发:逻辑清晰代码缩短70%调试时间
嵌入式Linux开发者Unix环境搭建避坑指南
Unix高效包管理:创业者必备的底层技术力