🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦
7年没人敢重启的服务器:可执行文件已被删除,进程在内存中存活,还有一个写错的VLAN数字
Quay lại Blog

7年没人敢重启的服务器:可执行文件已被删除,进程在内存中存活,还有一个写错的VLAN数字

15 tháng 11, 20262 phút đọcVũ Khôi
Tiếng Trung
#Tiếng Trung
Vũ Khôi

Vũ Khôi

Tác giả tại Wotech Electronics Blog

没人敢重启的legacy01服务器的故事

7年没人敢重启的服务器:可执行文件已被删除,进程在内存中存活,还有一个写错的VLAN数字

一台运行CentOS 7的虚拟机,仅有2个CPU和4GB内存,连续运行了2561天——7年多从未重启过——全公司有一条不成文的规定:绝对不要重启它,尽管没有人还记得它运行着什么服务。据Lữ Minh Khương在VGU Tech Alumni群组中发布的帖子(引自BugX频道),在一个星期五下午4:47,这台服务器失去了网络连接,并导致超过50%的订单请求出错。随后的调查发现了两个难以置信的事实:应用的可执行文件多年前就已从磁盘上删除,而断网的真正原因只是一个写错的VLAN数字。

快速回答:据帖子称,虚拟机legacy01(CentOS 7,2个CPU,4GB内存)连续运行了2561天,并有一条不成文的永不重启的规定。在一个星期五下午,4:44的一次Live Migration将VLAN 26误配置为VLAN 261,导致该机器断网;订单服务代码中的一个回退分支以30秒超时调用legacy01的8443端口,使超过50%的订单请求挂起然后失败。检查发现,inventory-gateway进程仍在内存中存活,但其位于/opt/inventory/inventory-gateway的可执行文件多年前就已从磁盘删除(在/proc中显示为deleted),且没有systemd单元或启动脚本。团队从/proc中抢救了二进制文件,将VLAN改回26,在运行超过2580天后,legacy01得以体面退役。

Live Migration(实时迁移)是在不重启虚拟机的情况下,将正在运行的虚拟机在物理主机之间迁移的机制。可执行文件已被删除的进程是指这样一种状态:尽管文件名已从目录中删除,但只要进程仍持有打开的文件描述符,Linux内核就会在内存中保留inode和可执行数据——但进程一旦停止或机器重启,这些数据就会被永久回收。

legacy01是什么,为什么全公司都禁止重启它?

主角是一台主机名为legacy01的虚拟机,运行CentOS 7,配置为2个CPU核心和4GB内存,连续运行时间为2561天。当一名入职第二周的新工程师审查数百台旧虚拟机并询问是否可以给它打安全补丁或关机时,名叫Mark的高级工程师立即否决了这个想法:不要碰那台机器,绝对不要重启——至于为什么,连Mark自己也不知道。

此后几个月里,问遍全公司也没有明确的答案。有人猜它运行着旧的报告服务,有人说它与仓库集成有关,还有人坚信它3年前就已被替换,现在只是在空转。但只要一提到关机,每个人都会紧张,于是事情就这样持续下去——典型的“遗留”服务器:搭建它的人早已离职,文档为零,监控简陋,而唯一的回答永远是“它很重要,就放在那儿别碰”。

与Mark的聊天:不要重启它

星期五下午4:47发生了什么?

事故发生在一个星期五下午。4:47,第一条警报响起:legacy01 host unreachable。打开Grafana,所有指标在2分钟前就已中断;ping IP和SSH都报告Connection timed out。

还没来得及联系Mark,一波严重警报接踵而至:Order Service的错误率飙升至50%以上,Checkout API进入critical状态,订单处理队列开始积压。对用户而言,顾客仍可正常浏览商品、加入购物车和登录——但一点击结账按钮,请求就会整整挂起30秒然后返回错误。

警报:legacy01主机不可达和订单服务错误率超过50%

第一反应通常是怀疑数据库或DNS,但PostgreSQL的CPU、连接数和查询速度都正常。打开Order Service的日志,发现数千条Connection timed out错误都指向同一个地址:10.20.4.17:8443——正是legacy01。

为什么订单会整整挂起30秒?

通过Hypervisor Console检查,第一个意外是虚拟机仍处于Powered On状态,CPU和内存负载较轻,没有硬件错误,uptime仍显示2561 days。机器并没有挂起或断电——它还活着,但与外部网络的连接已完全中断。

legacy01还活着,但与网络的其余部分断开

扫描开放端口,工程师发现一个在8443端口监听的进程,名为inventory-gateway。在所有内部文档、GitHub、部署仓库、CI/CD流水线、Ansible playbook和Docker中搜索这个名字,没有找到一行信息。联系后端工程师Anna后发现:尽管大部分流程已迁移到新的Inventory Service,代码中仍保留了一个回退分支,直接调用legacy01为一家老仓库合作伙伴检查并预留库存(reserve stock)。这个分支多年来一直留在那里,因为没人敢删除它,不确定合作伙伴是否还在使用——而由于请求超时为30秒,当legacy01失去联系时,整个订单流程便连锁堵塞。

订单服务等待30秒调用无法访问的inventory-gateway

架构图:从订单服务到legacy01上inventory-gateway的回退分支

/proc中的秘密:进程活着,文件多年前就已死去

拯救系统的最快方法是找到legacy01上应用的可执行文件和配置文件,复制到另一台服务器上运行。但根据进程ID找到/opt/inventory/inventory-gateway路径时,目录和文件在磁盘上都不存在。

虚拟机控制台:进程存在,但可执行文件已从磁盘消失

深入检查/proc——Linux内核映射正在运行的进程信息的地方——7年来“禁止重启”诅咒的真正原因才显露出来:在进程可执行文件的路径旁边,Linux显示了一个词:(deleted)。

据帖子解释,这个机制相当有趣:当一个正在运行的程序的可执行文件从磁盘上被删除时,进程并不会立即死亡。Linux内核只删除目录中的文件名链接,但只要进程仍持有打开的文件描述符,就会保留inode和内存中的可执行数据。但进程一旦停止或机器重启,内核就会回收所有这些数据,可执行文件将永远消失。有人多年前不小心删除了应用目录,但2019年启动的进程却在内存中默默运行了7年,承载着全公司的仓库检查流程。

到5:15,当有人提议试着重启时,Mark不得不在Slack上用全大写字母阻止。工程师做的第一件事是从进程的/proc中提取并备份仍在存活的二进制文件到安全的地方,同时收集所有可读的环境变量和配置。然后,直接从legacy01本机向8443端口发送请求并收到了有效响应——证明应用本身运行完全正常,问题纯粹出在网络层。

事件频道:DO NOT REBOOT THAT SERVER

真正的罪魁祸首:VLAN 26被误写为VLAN 261

检查虚拟机的网卡:接口仍为UP状态,IP和路由表都正确,但ARP表和到默认网关的ping完全没有信号;抓包也只看到数据包离开网卡,没有任何返回。

打开基础设施变更频道,工程师发现一条约40分钟前发布的消息:“Scheduled VM migration completed successfully. No customer impact expected.”逐分钟对照虚拟化事件历史:

时间 事件
4:44 PM legacy01从旧Hypervisor实时迁移到新Hypervisor
4:45 PM 虚拟机失去全部网络连接
4:47 PM 监控系统开始发出红色警报

时间线:4:44迁移,4:45断网,4:47警报

负责实时迁移的工程师Robert起初也很惊讶,因为两台Hypervisor上的Port Group名称完全相同。但将两台主机的网络配置并排逐行比较后,真正的罪魁祸首出现了:在源Hypervisor上,Port Group绑定的是VLAN 26,而在目标Hypervisor上,之前设置网络的人误写成了VLAN 261。多出一位数字,就足以在迁移后将legacy01的所有流量推向一个完全不同的网段。

幸运的是,修复Port Group上的VLAN ID可以立即生效,无需重启虚拟机。刚改回VLAN 26,到默认网关的ping立即有了响应,到8443端口的连接恢复畅通,订单队列逐渐排空,到5:38 PM,生产环境的所有警报转为绿色。

legacy01如何退役,legacy02又是什么?

故事并没有在修复网络后结束。定下禁止重启规则的人是David——一位2年前离职的工程师。inventory-gateway进程从未配置在systemd中,也没有打包进容器;David在2019年用手在终端中输入命令运行它,本打算“先临时运行,稍后写启动脚本”——而这个“稍后”一拖就是7年。

接下来星期一的第一天,工程师翻查旧的Git仓库,找到了一个名为warehouse-connector的仓库,其最后一次提交来自2019年。整个README只有4行,部署指南只有一句话:“Copy binary to server and run”。没有构建流水线,没有健康检查,没有自动重启策略。

结合找回的源代码和从/proc中抢救的二进制文件,在接下来的几周里,团队编写了正规的部署流水线,在新基础设施上搭建了并行运行的2个实例,接入了完整的监控,重写了架构文档,最重要的是多次测试了重启场景。运行超过2580天后,legacy01终于被输入shutdown命令,体面退役,没有丢失任何订单。

两个新的inventory-gateway实例,配有监控、流水线和文档

结尾的小细节让每个工程师都觉得既好笑又熟悉:legacy01刚关机,Mark就发消息问他是否知道legacy02(同样是CentOS 7,2个CPU,4GB内存,运行时间超过2130天)在做什么——因为它的备注中也只有一行字:“Do not restart”。

从legacy01故事中吸取的教训

问题 教训
进程自2019年起手动运行,没有systemd,没有启动脚本 每个服务都必须有记录在案并经过测试的重启方式——没有什么可以“临时”手动运行
二进制文件从磁盘删除而无人知晓 生产环境中运行的任何东西都需要副本、构建流水线和文档——不能让单个文件决定生死
回退到旧系统的分支在代码中留存多年 清理死代码和旧回退分支;一个分支的30秒超时可能堵塞整个主流程
迁移时VLAN错写一位数字 基础设施变更必须逐项对照源和目标的配置;“无影响”的通知需要验证
多年来没人知道服务器在运行什么 “不要重启”的备注不能替代架构文档和明确的负责人

常见问题

1. 为什么不能重启legacy01? 因为inventory-gateway进程的可执行文件多年前就已从磁盘删除;进程仅靠Linux的inode机制在内存中存活,重启将使文件永久消失。

2. legacy01断网的原因是什么? 4:44的一次Live Migration将虚拟机迁移到新的Hypervisor,Port Group被误配置为VLAN 261而非VLAN 26,将所有流量推向了不同的网段。

3. 为什么订单会整整挂起30秒? 因为订单服务代码保留了一个回退分支,以30秒超时调用legacy01的8443端口来预留库存——机器失去联系后,每个订单请求都要等待整整30秒才失败。

4. 文件已删除的情况下如何抢救应用? 团队从正在运行的进程的/proc中提取仍在存活的二进制文件到安全的地方,同时收集所有可读的环境变量和配置。

5. legacy01最终怎么样了? 在连续运行超过2580天后,它被2个带有流水线、监控和完整文档的新实例替换,然后关机退役,没有丢失任何订单。紧接着,Mark提到了legacy02——一台带有“Do not restart”备注的类似机器。

本文改写自Lữ Minh Khương于2026年11月15日在VGU Tech Alumni群组中发布的帖子,引自BugX频道(“We Had One Rule... NEVER Restart This Server”)。技术细节、时间线和数字均来自原帖。

Bài viết liên quan

'看完之后,你的大脑将不再一样':Lara Boyd关于神经可塑性的4堂课

16 tháng 11, 2026 · 1 phut doc

'看完之后,你的大脑将不再一样':Lara Boyd关于神经可塑性的4堂课

Dung Lê于2026年11月14日在Facebook群组中发表的一篇帖子讲述了观看脑科学家Lara Boyd TEDx演讲的经历——以及这次演讲如何改变了作者对学习的理解。本文转述作者从演讲中得出的4堂课,以及作者的个人故事。文中的科学内容和引文均按作者对演讲的转述,未与原版独立核对。

Breakscale:不要等应用崩溃才知道它在哪里崩溃——先让它崩溃

16 tháng 11, 2026 · 1 phut doc

Breakscale:不要等应用崩溃才知道它在哪里崩溃——先让它崩溃

你用VibeCoding做了一个网站,10个人测试时运行良好,第二天一投广告,人一多就崩溃了——却不知道它在哪里崩溃、该修哪里。这就是Breakscale想要解决的问题:这是一个开源的系统设计模拟器,它反其道而行之:搭建起系统,把用户量加到它崩溃为止,并向你展示它在哪里崩溃、为什么崩溃。本文基于Code Web Không Khó页面2026年11月16日的介绍帖子;各项功能和数据均来自该帖子及…

IT专业学生失业怪AI:'AI没有抢走工作,懒惰和自以为是才正在淘汰你'

16 tháng 11, 2026 · 1 phut doc

IT专业学生失业怪AI:'AI没有抢走工作,懒惰和自以为是才正在淘汰你'

2026年11月16日上午,Facebook群组IT for Beginners中的一篇匿名帖子引起了关注,其论点与主流相反:IT专业学生毕业后失业不是因为AI抢走了工作,而是因为他们在大学期间的学习方式和态度。本文转述作者的观点——作者自称自己也还是一名在校学生——以及作者给出的例子和观察。这些是作者的个人意见,未经独立核实。