
Con server 7 năm không ai dám reboot: file thực thi đã bị xóa, tiến trình sống trong RAM và một chữ số VLAN
Vũ Khôi
Tác giả tại Wotech Electronics Blog

Con server 7 năm không ai dám reboot: file thực thi đã bị xóa, tiến trình sống trong RAM và một chữ số VLAN
Một máy chủ ảo chạy CentOS 7, vỏn vẹn 2 CPU và 4GB RAM, có thời gian hoạt động liên tục 2.561 ngày — hơn 7 năm chưa một lần khởi động lại — với luật bất thành văn toàn công ty: tuyệt đối không được restart, dù không ai còn nhớ nó chạy dịch vụ gì. Theo bài đăng của Lữ Minh Khương trong nhóm VGU Tech Alumni, dẫn nguồn từ kênh BugX, chiều thứ Sáu lúc 4:47 PM, con server ấy mất kết nối mạng và kéo theo hơn 50% request đặt hàng bị lỗi. Cuộc điều tra sau đó phát hiện hai sự thật khó tin: file thực thi của ứng dụng đã bị xóa khỏi ổ cứng từ nhiều năm trước, còn nguyên nhân mất mạng chỉ là một chữ số VLAN gõ nhầm.
Trả lời nhanh: Theo bài đăng, máy chủ ảo
legacy01(CentOS 7, 2 CPU, 4GB RAM) chạy liên tục 2.561 ngày với luật bất thành văn là tuyệt đối không restart. Chiều thứ Sáu, một ca Live Migration lúc 4:44 PM cấu hình nhầm VLAN 26 thành VLAN 261 khiến máy mất mạng; nhánh fallback trong code Order Service gọi về port 8443 củalegacy01với timeout 30 giây đã làm hơn 50% request đặt hàng bị treo rồi lỗi. Khi kiểm tra, tiến trìnhinventory-gatewayvẫn sống trong RAM nhưng file thực thi ở/opt/inventory/inventory-gatewayđã bị xóa khỏi ổ cứng từ nhiều năm trước (trạng tháideletedtrong/proc), không cósystemdhay startup script. Đội kỹ thuật đã cứu bản binary từ/proc, sửa lại VLAN 26, và sau hơn 2.580 ngày,legacy01được cho nghỉ hưu êm đẹp.
Live Migration là cơ chế di chuyển một máy ảo đang chạy giữa các máy chủ vật lý mà không cần khởi động lại máy ảo. Tiến trình chạy với file thực thi đã bị xóa (deleted binary) là trạng thái mà nhân Linux vẫn giữ inode và vùng dữ liệu thực thi trong bộ nhớ chừng nào tiến trình còn mở file descriptor, dù tên file đã bị xóa khỏi thư mục — nhưng khi tiến trình dừng hoặc máy reboot, dữ liệu đó sẽ bị thu hồi vĩnh viễn.
legacy01 là gì, và vì sao cả công ty cấm restart nó?
Nhân vật chính là một máy chủ ảo có hostname legacy01, chạy CentOS 7, cấu hình 2 CPU cores và 4GB RAM, với thời gian chạy liên tục 2.561 ngày. Khi một kỹ sư mới vào công ty ở tuần thứ hai rà soát hàng trăm máy ảo cũ và hỏi có thể vá lỗi bảo mật hay tắt nó đi không, anh kỹ sư Senior tên Mark lập tức gạt đi: đừng chạm vào con máy đó, tuyệt đối đừng restart — tại sao thì chính Mark cũng không biết.
Suốt mấy tháng sau, hỏi quanh công ty cũng không ai trả lời rõ ràng. Người đoán nó chạy dịch vụ báo cáo cũ, người bảo liên quan đến tích hợp kho bãi, có người đinh ninh nó đã được thay thế từ 3 năm trước và chỉ chạy không tải. Nhưng hễ nhắc đến chuyện tắt máy là ai nấy đều lo lắng, nên mọi thứ cứ thế trôi qua — đúng kiểu server "di sản": người cài đặt đã nghỉ việc, tài liệu bằng không, monitoring sơ sài, và câu trả lời duy nhất luôn là "quan trọng lắm, cứ để yên đấy đừng đụng vào".

Chiều thứ Sáu 4:47 PM đã xảy ra chuyện gì?
Biến cố xảy ra vào đúng chiều thứ Sáu. Lúc 4:47 PM, cảnh báo đầu tiên nổ: legacy01 host unreachable. Mở Grafana thì toàn bộ metrics đã đứt từ 2 phút trước; ping IP và SSH đều báo Connection timed out.
Chưa kịp nhắn cho Mark thì hàng loạt cảnh báo nghiêm trọng dồn dập đổ về: tỷ lệ lỗi của Order Service vọt lên trên 50%, Checkout API rơi vào trạng thái critical, hàng đợi xử lý đơn hàng bắt đầu ùn ứ. Về phía người dùng, khách hàng vẫn xem sản phẩm, thêm hàng vào giỏ và đăng nhập bình thường — nhưng cứ bấm nút thanh toán là request bị treo cứng đúng 30 giây rồi trả về lỗi.

Phản xạ đầu tiên thường là nghi ngờ Database hoặc DNS, nhưng PostgreSQL thì CPU, số connection và tốc độ truy vấn đều bình thường. Mở log của Order Service thì thấy hàng ngàn dòng lỗi Connection timed out cùng trỏ về một địa chỉ duy nhất: 10.20.4.17:8443 — chính là legacy01.
Vì sao đơn hàng treo đúng 30 giây?
Khi kiểm tra qua Hypervisor Console, điều bất ngờ đầu tiên là máy ảo vẫn Powered On, CPU và RAM vẫn có tải nhẹ, không lỗi phần cứng, và lệnh uptime vẫn hiện 2561 days. Máy không hề bị treo hay sập nguồn — nó vẫn sống nhưng mất hoàn toàn kết nối với mạng bên ngoài.

Soi các cổng đang mở, kỹ sư thấy một tiến trình lắng nghe ở port 8443 tên là inventory-gateway. Tìm cái tên này trong toàn bộ tài liệu nội bộ, GitHub, repo deployment, CI/CD pipeline, Ansible playbook hay Docker đều không có dòng thông tin nào. Liên hệ Anna, kỹ sư Backend, cô phát hiện: dù phần lớn luồng xử lý đã chạy qua Inventory Service mới, trong code vẫn còn một nhánh fallback gọi thẳng về legacy01 để kiểm tra và giữ chỗ tồn kho (reserve stock) cho một đối tác kho bãi đời cũ. Nhánh code nằm đó suốt nhiều năm không ai dám xóa vì không chắc đối tác còn dùng hay không — và vì timeout của request là 30 giây nên khi legacy01 mất liên lạc, toàn bộ luồng đặt hàng bị nghẽn dây chuyền.


Bí mật trong /proc: tiến trình sống, file đã chết từ nhiều năm trước
Để cứu hệ thống nhanh nhất, phương án hợp lý là tìm file thực thi và file cấu hình của ứng dụng trên legacy01, chép sang server khác rồi chạy lên. Nhưng khi tìm ra PID và lần theo đường dẫn /opt/inventory/inventory-gateway, cả thư mục lẫn file đều không tồn tại trên ổ đĩa.

Kiểm tra sâu vào /proc — nơi nhân Linux ánh xạ thông tin các tiến trình đang hoạt động — lý do thực sự đằng sau lời nguyền "cấm restart" mới lộ ra: bên cạnh đường dẫn tới file thực thi của tiến trình, Linux hiển thị một chữ duy nhất: (deleted).
Cơ chế này, theo bài đăng, khá thú vị: khi một chương trình đang chạy mà ai đó xóa mất file binary của nó trên ổ cứng, tiến trình không chết ngay. Nhân Linux chỉ xóa liên kết tên file trên thư mục, nhưng vẫn giữ inode và vùng dữ liệu thực thi trong bộ nhớ chừng nào tiến trình còn mở file descriptor. Nhưng khoảnh khắc tiến trình dừng lại hoặc máy bị reboot, nhân Linux sẽ thu hồi toàn bộ vùng dữ liệu này và file thực thi biến mất vĩnh viễn. Ai đó đã lỡ tay xóa mất thư mục ứng dụng từ nhiều năm trước, nhưng tiến trình được khởi chạy từ năm 2019 vẫn âm thầm nằm trong RAM suốt 7 năm để gánh luồng kiểm tra kho bãi cho cả công ty.
Đến 5:15 PM, khi có người đề xuất thử reboot xem sao, Mark phải gõ chữ in hoa toàn bộ trên Slack để ngăn lại. Việc đầu tiên kỹ sư làm là trích xuất và sao lưu ngay bản binary còn sống từ /proc ra nơi an toàn, đồng thời gom toàn bộ biến môi trường và cấu hình còn đọc được. Sau đó, bắn một request trực tiếp từ localhost vào port 8443 ngay trên legacy01 và nhận về phản hồi hợp lệ — chứng tỏ ứng dụng vẫn hoạt động hoàn hảo, vấn đề thuần túy nằm ở tầng mạng.

Thủ phạm thật sự: VLAN 26 bị gõ nhầm thành VLAN 261
Kiểm tra card mạng trên máy ảo: interface vẫn UP, IP và bảng định tuyến đều chuẩn, nhưng bảng ARP và ping ra Default Gateway hoàn toàn không có tín hiệu; bắt gói tin cũng chỉ thấy gói đi ra mà không có gói nào quay về.
Mở kênh thông báo thay đổi hạ tầng, kỹ sư phát hiện một tin nhắn đăng cách đó khoảng 40 phút: "Scheduled VM migration completed successfully. No customer impact expected." Đối chiếu lịch sử sự kiện trên hệ thống ảo hóa:
| Thời điểm | Sự kiện |
|---|---|
| 4:44 PM | legacy01 được Live Migration từ Hypervisor cũ sang Hypervisor mới |
| 4:45 PM | Máy ảo mất toàn bộ kết nối mạng |
| 4:47 PM | Hệ thống giám sát bắt đầu báo động đỏ |

Robert, kỹ sư phụ trách ca Live Migration, ban đầu cũng bất ngờ vì tên Port Group trên hai Hypervisor giống hệt nhau. Nhưng khi đặt cấu hình mạng của hai máy cạnh nhau so từng dòng, thủ phạm mới lộ diện: trên Hypervisor gốc, Port Group được gắn với VLAN 26, còn trên Hypervisor đích, người thiết lập mạng trước đó đã gõ nhầm thành VLAN 261. Chỉ vì dư đúng một chữ số, toàn bộ lưu lượng của legacy01 sau khi migrate đã bị đẩy sang một nhánh mạng hoàn toàn khác.
Rất may, việc sửa lại mã VLAN trên Port Group có thể áp dụng ngay mà không cần khởi động lại máy ảo. Vừa cập nhật lại thành VLAN 26, ping tới Default Gateway lập tức phản hồi, kết nối tới port 8443 thông suốt, hàng đợi đơn hàng vơi dần, và đến 5:38 PM toàn bộ cảnh báo trên Production chuyển sang màu xanh.
legacy01 nghỉ hưu như thế nào, và legacy02 là gì?
Câu chuyện chưa dừng ở việc vá lỗi mạng. Người dặn ra quy tắc cấm restart là David — kỹ sư đã nghỉ việc 2 năm trước. Tiến trình inventory-gateway hoàn toàn không được cấu hình trong systemd hay đóng gói vào container, mà được David gõ lệnh chạy tay trên terminal từ năm 2019 với ý định "chạy tạm rồi viết startup script sau" — và cái "sau" đó kéo dài suốt 7 năm.
Ngày thứ Hai đầu tuần, kỹ sư đào lại các kho Git cũ và tìm thấy repo warehouse-connector với commit cuối từ năm 2019. File README chỉ có đúng 4 dòng, hướng dẫn triển khai vỏn vẹn một câu: "Copy binary to server and run". Không pipeline build, không health check, không chính sách tự khởi động lại.
Từ mã nguồn tìm lại được kết hợp với bản binary cứu ra từ /proc, trong vài tuần tiếp theo cả đội đã viết lại pipeline triển khai đàng hoàng, dựng 2 instances chạy song song trên hạ tầng mới, gắn giám sát đầy đủ, viết lại tài liệu kiến trúc và thử nghiệm kịch bản restart nhiều lần. Sau hơn 2.580 ngày, legacy01 cuối cùng cũng được gõ lệnh shutdown để nghỉ hưu êm đẹp mà không làm rớt bất kỳ đơn hàng nào.

Chi tiết cuối khiến dân kỹ thuật vừa buồn cười vừa thấy quen thuộc: ngay khi vừa tắt xong legacy01, Mark nhắn hỏi anh có biết con máy legacy02 (cũng CentOS 7, 2 CPU, 4GB RAM, uptime hơn 2.130 ngày) đang làm nhiệm vụ gì không — bởi trong phần ghi chú của nó cũng chỉ có vỏn vẹn một dòng: "Do not restart".
Bài học rút ra từ câu chuyện legacy01
| Vấn đề | Bài học |
|---|---|
| Tiến trình chạy tay từ 2019, không systemd, không startup script | Mọi service phải có cách khởi động lại được ghi lại và kiểm chứng, không chạy "tạm" bằng tay |
| File binary bị xóa khỏi ổ cứng mà không ai biết | Tài sản chạy trên production phải có bản sao, pipeline build và tài liệu — không để một file duy nhất quyết định sống còn |
| Nhánh fallback tới hệ thống cũ nằm trong code nhiều năm | Dọn dẹp code chết và fallback cũ; timeout 30 giây của một nhánh phụ có thể nghẽn toàn bộ luồng chính |
| VLAN gõ nhầm một chữ số khi migrate | Thay đổi hạ tầng phải đối chiếu cấu hình giữa nguồn và đích; thông báo "không ảnh hưởng" cần được kiểm chứng |
| Không ai biết server chạy gì suốt nhiều năm | Ghi chú "do not restart" không thay thế được tài liệu kiến trúc và ownership rõ ràng |
Câu hỏi thường gặp
1. Vì sao không được restart legacy01?
Vì file thực thi của tiến trình inventory-gateway đã bị xóa khỏi ổ cứng từ nhiều năm trước; tiến trình chỉ còn sống trong RAM nhờ cơ chế giữ inode của Linux, và reboot sẽ khiến file biến mất vĩnh viễn.
2. Nguyên nhân mất mạng của legacy01 là gì? Một ca Live Migration lúc 4:44 PM đã chuyển máy sang Hypervisor mới, nơi Port Group bị cấu hình nhầm VLAN 26 thành VLAN 261, đẩy toàn bộ lưu lượng sang nhánh mạng khác.
3. Vì sao đơn hàng treo đúng 30 giây?
Vì code Order Service còn một nhánh fallback gọi về port 8443 của legacy01 để giữ chỗ tồn kho, với timeout 30 giây — khi máy mất liên lạc, mọi request đặt hàng đều chờ đủ 30 giây rồi lỗi.
4. Làm sao cứu được ứng dụng khi file đã bị xóa?
Đội kỹ thuật trích xuất bản binary còn sống từ /proc của tiến trình đang chạy ra nơi an toàn, cùng toàn bộ biến môi trường và cấu hình còn đọc được.
5. legacy01 cuối cùng ra sao?
Sau hơn 2.580 ngày chạy liên tục, nó được thay thế bằng 2 instances mới có pipeline, giám sát và tài liệu đầy đủ, rồi shutdown nghỉ hưu mà không làm rớt đơn hàng nào. Ngay sau đó, Mark nhắc tới legacy02 — một máy tương tự với ghi chú "Do not restart".
Bài viết được viết lại từ bài đăng của Lữ Minh Khương trong nhóm VGU Tech Alumni ngày 15/11/2026, dẫn nguồn từ kênh BugX ("We Had One Rule... NEVER Restart This Server"). Các chi tiết kỹ thuật, mốc thời gian và con số theo bài đăng gốc.
Bài viết liên quan

16 tháng 11, 2026 · 10 phut doc
'Sau khi xem xong, bộ não của bạn sẽ không còn như trước': 4 bài học về tính dẻo thần kinh từ Lara Boyd
Một bài đăng của Dung Lê trong một nhóm Facebook ngày 14/11/2026 kể lại trải nghiệm xem bài nói TEDx của nhà nghiên cứu não bộ Lara Boyd — và cách bài nói đó thay đổi cách tác giả hiểu về việc học. B…

16 tháng 11, 2026 · 9 phut doc
Breakscale: đừng đợi app sập mới biết nó sập ở đâu — làm cho nó sập trước đi
Bạn VibeCoding làm web, test 10 người vào thì chạy ngon, hôm sau chạy quảng cáo đông người vào là sập — mà không biết sập ở đâu, sửa ở đâu. Đó là vấn đề mà Breakscale, một công cụ mô phỏng thiết kế h…

16 tháng 11, 2026 · 9 phut doc
Sinh viên IT thất nghiệp đổ tại AI: 'AI không cướp việc, chính sự lười biếng và ảo tưởng mới tự đào thải bạn'
Một bài đăng ẩn danh trong nhóm IT for Beginners sáng 16/11/2026 đang gây chú ý với lập luận ngược dòng: sinh viên IT ra trường thất nghiệp không phải vì AI cướp việc, mà vì chính cách học và thái độ…