后端架构师亲历：12个高可用运维真相

　　去年4月，我蹲在IDC三号机房门口啃冷掉的牛肉馅饼，塑料袋上印着“老刘家灌汤包”，油渍糊住了“汤”字下半截。后门缝里漏出的白光太晃眼，我眯着眼往里看，老张正用螺丝刀撬UPS机柜侧面的散热格栅——他左手小指头少半截，我敢打包票，那是三年前抢修K8s控制面时被热插拔模块烫断的。

　　那会儿刚切完灰度流量，AB通道还没完全收敛，我就听见隔壁组的小王在微信语音里吼：“数据链路打穿了！”声音卡顿得像老式磁带倒带，“……不是…不是下游…是埋点SDK里那个兜底上报路径，把retry计数器写进header了，上游网关当成traceID解析……”我手机还捏在手里，没来得及按接听键，窗外开始下雨，雨点砸在机房顶棚的彩钢板上，嗒、嗒、嗒——不匀速，中间隔了十八秒才又响一下。

　　后来查出来，其实根本不是SDK的问题。是部署时漏掉了env=prod的flag，所有日志里的时间戳全写成UTC+0，但监控脚本硬生生拿东八区偏移去对齐告警时间轴。这事没人提。因为四小时后业务就恢复了，报表照常生成，运营早会上老何指着大屏说：“这个转化率回升得漂亮啊。”他右手食指在触摸屏上划拉三下，第三下用力过猛，指甲缝里还嵌着昨天下班前泡面调料包的红油渣。

文章配图，仅供参考

　　我原以为只要架构图上箭头画得密些，节点多挂两个健康检查探针，就能防住所有崩塌。结果真崩起来，第一个垮的是钉钉机器人的消息队列。它每分钟往群聊发17次心跳检测，但每次失败后退避策略是线性回退——3秒、6秒、9秒……到第23次，它已经停更四分半钟。而此时我们正在会议室里争“要不要回滚API网关配置”，李工突然抬头说：“等等，谁把我咖啡杯盖拧开了？”——那杯子搁在投影仪旁边，不锈钢外壳结了层薄雾，杯盖确实歪着，螺纹没对准，一碰就掉下来。没人碰过。我到现在都说不准是不是空调出风口偏了角度吹的。

　　高可用？呵。你信不信，我们上次做混沌演练，故意杀掉主库进程，结果发现从库同步延迟反而降了两百毫秒。运维小赵盯着监控面板愣了三秒，转头问我：“老师，这算正向扰动吗？”我没答。我盯着他工牌挂绳上缠着的那根蓝白相间的网线——就是那种超五类，外皮被反复弯折过，接口金属片都发乌了，去年双十一我们拿它临时跳接过核心链路的TLS卸载节点。当时它扛住了，现在还在用。没换。

　　埋点错乱算错数？我见过更离谱的。某天凌晨三点二十七，BI平台报出异常峰值：单日新用户注册暴涨三百七十二万。实际呢？上游短信渠道的重试逻辑崩了，同一份手机号请求被推了六百多次进下游，每个请求都触发独立埋点。可第二天晨会PPT第一页就写着“拉新效率提升23%”。谁改的？市场部自己拖着SQL跑出来的宽表，字段名叫user_id_new_unique_v2_cleaned_dedup_fallback；但那个fallback逻辑，连个注释都没写清楚到底是基于手机号还是设备指纹。我在代码库里搜了四遍“fallback”，第三次搜的时候弹窗提醒：已超时，自动保存草稿——草稿里还留着我昨天删掉的测试注释：“此处不应存在”。

　　优胜劣汰？没错。但汰的不是技术，是那些还信“一次架构设计保三年”的人。淘汰也未必发生在宕机时刻，可能就在某次跨部门对口径时，法务部随口问一句：“‘活跃用户’定义里是否包含登录即退出的设备？”，你顿了一下，而对方已经把这句话复制进了会议纪要附件。那文件名是：【0422-用户定义共识-v1.3_终版_请勿再改】。结尾那个下划线，是我自己敲上去的。我讨厌在数字后面加下划线，可那天手抖了，多按了一次Shift。

　　对了，上周路过财务部，看见他们打印机卡纸，纸角翘起来半厘米，上面打印着Q1成本分摊表，其中“基础设施分摊系数”那一栏被马克笔粗暴圈了出来，旁边批注：“请核查为何CDN带宽占比高于去年同期——该数字自去年十一月起即无变动。”落款是财务老周。他左手正捏着一支中性笔，在另一张A4纸上写东西，手腕悬空，笔尖洇开一小团蓝墨，像朵快枯死的喇叭花。

　　我现在不碰架构图了。每天早上八点四十，先去机房B3层通风管道下面站五分钟。那儿有台老旧的湿度传感器，数值常年飘在63%-65%之间，波动范围比我们所有业务指标都稳。昨天它显示64.7，今天是64.3。我摸了摸管壁，潮的，但没结露。就这个手感，比看SLA报表靠谱。你要问我下一步干啥？——我约了老刘家灌汤包的老板，下礼拜二下午三点，当面问问他那个油渍是怎么印上去的。他说是蒸汽熏的，可我怀疑是他盖蒸笼盖子时手滑，盖子边缘撞到了印刷机滚筒。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!