
Sự cố lúc 3 giờ sáng: kết hợp Metrics, Logs và Traces để tìm lỗi cạn Connection Pool
Vũ Khôi
Tác giả tại Wotech Electronics Blog

Sự cố lúc 3 giờ sáng: kết hợp Metrics, Logs và Traces để tìm lỗi cạn Connection Pool
PagerDuty dựng cả đội trực dậy lúc 3 giờ sáng: độ trễ P99 của API thanh toán vọt từ 180ms lên 3,2 giây, 0,4% request nhận lỗi 504. Bài viết này kể lại quy trình điều tra trong bài chia sẻ của Lữ Minh Khương — dựa trên video "3AM Observability Crash Course (A True Story)" của kênh pouria — theo tư duy khoanh vùng "Wolf Fencing": đi từ Metrics sang Logs rồi tới Distributed Tracing để tìm ra nguyên nhân gốc rễ là lỗi rò rỉ kết nối làm cạn Connection Pool của PostgreSQL. Toàn bộ con số dưới đây lấy từ bài chia sẻ, mô phỏng lại một quy trình điều tra sự cố.
Trả lời nhanh: Nguyên nhân gốc rễ của sự cố là lỗi Connection Leak làm cạn Connection Pool của Inventory Service, chứ không phải quá tải CPU hay lưu lượng tăng đột biến. Metrics trên Grafana chứng minh Order Service vẫn khỏe mạnh nhưng đang phải chờ một service hạ nguồn. Logs thu hẹp nghi phạm xuống lời gọi sang Inventory Service. Distributed Tracing chỉ ra bước xin cấp kết nối từ PostgreSQL ngốn tới 2.962ms trong khi câu lệnh SQL chỉ tốn 4ms. Giải pháp chữa cháy lúc 3 giờ sáng là restart service để làm mới Connection Pool, còn cách trị dứt điểm là rà soát code để mọi connection đều được đóng lại và bật phát hiện rò rỉ trong HikariCP.
Observability là khả năng quan sát và hiểu được trạng thái bên trong của một hệ thống từ dữ liệu nó tạo ra, thường qua ba trụ cột: Metrics (số liệu tổng hợp), Logs (nhật ký sự kiện) và Traces (truy vết hành trình của từng request). Connection Pool Exhaustion là tình trạng vùng chứa kết nối tới cơ sở dữ liệu bị dùng hết, khiến các request đến sau phải xếp hàng chờ tới khi timeout.
Chuyện gì đã xảy ra lúc 3 giờ sáng?
Câu chuyện bắt đầu bằng một cảnh báo nghiêm trọng trên PagerDuty: P99 Latency của luồng POST /checkout tại tầng API Gateway vượt 2 giây liên tục trong 5 phút. P99 là phân vị thứ 99 — nghĩa là 99% tổng số request xử lý nhanh hơn mốc này, chỉ 1% chậm hơn. Bình thường một request thanh toán chỉ mất khoảng 180ms, nhưng lúc xảy ra sự cố thì vọt lên tới 3,2 giây, kéo theo 0,4% lượng request bị đứt gánh với mã lỗi 504 Gateway Timeout.

Theo nhận định của tác giả, với người làm backend thì nhìn thấy 504 ở API Gateway là biết ngay bản thân con Gateway không bị lỗi — nó đang đứng chờ một downstream service nào đó phản hồi quá lâu. Vấn đề là hệ thống có hàng chục microservices gọi chéo nhau: browser đi qua CDN tới API gateway, gateway chuyển tiếp vào Order Service, rồi Order Service gọi sang auth, catalog, inventory và payment (qua Stripe), phía sau là Redis và PostgreSQL. Không có một phương pháp khoanh vùng, người trực sẽ chìm giữa hàng chục service và hàng núi dữ liệu.

Tư duy "Wolf Fencing" là gì và vì sao nó hiệu quả?
Video nhắc lại một tư duy kinh điển trong debugging gọi là "Wolf Fencing" (rào sói). Muốn tìm một con sói giữa bang Alaska rộng lớn, người ta dựng một hàng rào cắt đôi bang, lắng nghe tiếng sói hú để biết nó ở nửa nào, rồi lại tiếp tục chia đôi vùng đó cho đến khi tóm được nó. Khi xử lý sự cố Production cũng vậy: dùng các công cụ Observability để dựng từng lớp rào thu hẹp phạm vi tìm kiếm, thay vì đoán mò từng service một.

Điểm mấu chốt mà tác giả nhấn mạnh là thứ tự dựng rào: bắt đầu từ cái nhìn tổng thể rẻ nhất (Metrics), rồi mới đào sâu vào từng request cụ thể (Logs), và chỉ dùng công cụ đắt nhất, chi tiết nhất (Traces) khi phạm vi đã đủ hẹp. Đảo ngược thứ tự — lao ngay vào trace của từng request khi chưa biết service nào có vấn đề — sẽ tốn rất nhiều thời gian trong lúc hệ thống đang cháy.
Metrics nói gì — và không nói được gì?
Lớp rào đầu tiên là kiểm tra Metrics trên Grafana, với dữ liệu được scrape định kỳ mỗi 15 giây từ các HTTP endpoint của từng service đưa về Time Series Database của Prometheus. Khi mở dashboard của Order Service, tác giả nhìn vào ba loại metric cơ bản để loại trừ nguyên nhân.
Đầu tiên là http_requests_total thuộc kiểu Counter — chỉ số chỉ tăng dần theo thời gian. Biểu đồ tốc độ tăng trưởng cho thấy lưu lượng đi vào giữ nguyên ở mức phẳng khoảng 40 requests/giờ, tức là hệ thống hoàn toàn không bị DDoS hay spike traffic.
Tiếp theo là biểu đồ CPU và Memory thuộc kiểu Gauge — chỉ số có thể tăng giảm tùy thời điểm. CPU của Order Service lúc này chỉ loanh quanh mức 4% và RAM đi ngang, chứng tỏ bản thân Order Service rất rảnh rỗi, không hề bị quá tải tài nguyên hay kẹt Garbage Collection.
Manh mối thực sự nằm ở biểu đồ thứ ba: Outbound Call Latency từ Order Service, được đo bằng kiểu Histogram — phân bổ thời gian phản hồi vào các bucket thời gian định sẵn. Ở đây chỉ số P50 vẫn giữ ở mức rất đẹp là 20ms, nhưng chỉ số P99 lại dựng đứng lên mức 2,9 giây và đã âm ỉ tăng từ 9 giờ tối. Điều này khẳng định Order Service hoàn toàn khỏe mạnh, nhưng trong quá trình xử lý nó phải gọi sang một loạt service khác và đang bị một service nào đó giữ chân.

Nhưng tới đây thì Metrics hết nhiệm vụ. Theo tác giả, bản chất của Metrics là các con số tổng hợp — nó không thể chỉ đích danh từng request đơn lẻ đang gọi sang service nào bị chậm. Muốn thu hẹp hàng rào thêm một nấc nữa, phải chuyển sang Logs.
Logs thu hẹp vòng vây như thế nào?
Các dòng log trong hệ thống được ghi kèm severity level (INFO, WARN, ERROR) dưới định dạng JSON — gọi là Structured Logging — để dễ dàng lọc theo từng trường dữ liệu. Một log collector như Filebeat lắng nghe luồng stdout/stderr của mọi service rồi đẩy về Elasticsearch để đánh chỉ mục. Từ giao diện Grafana, khi lọc trực tiếp vào datasource Elasticsearch với điều kiện service = order-service, route = /checkout và duration >= 2000ms, toàn bộ các request bị ngâm lâu đều lộ diện. Mở chi tiết một bản ghi mất 2.970ms ra xem thì thấy thủ phạm làm chậm chính là lời gọi outbound sang Inventory Service.
Thông thường bước tiếp theo là cầm Trace ID — mã định danh truy vết duy nhất do API Gateway sinh ra, gắn vào HTTP Header và truyền xuyên suốt qua các downstream service — để tìm log bên phía Inventory Service. Nhưng một tình huống rất đời thực xảy ra: tìm Trace ID đó trong log của Inventory Service thì trắng trơn không có một dòng nào, đơn giản vì lúc viết code cho service này, lập trình viên đã quên không cấu hình đẩy Trace ID vào log context (chẳng hạn như MDC — Mapped Diagnostic Context trong Java/SLF4J). Tác giả kể chi tiết này như một lời nhắc thực tế: hệ thống log chỉ phát huy tác dụng khi Trace ID được đồng bộ từ tầng Gateway xuống tận Database.
Traces lật tẩy điều gì?
Khi log bị đứt đoạn, công cụ cuối cùng để lật tẩy vấn đề là Distributed Tracing. Đem đúng Trace ID đó tra cứu trên công cụ Tracing, toàn bộ vòng đời của request hiện ra dưới dạng biểu đồ timeline gồm các Span — mỗi Span đại diện cho một đơn vị công việc cụ thể trong một service. Nhìn vào timeline của request mất 3.120ms này, bức tranh hiện ra cực kỳ rõ ràng: request đi qua API Gateway rồi proxy vào Order Service; Order Service gọi sang Auth Service để xác thực người dùng chỉ mất vỏn vẹn 8ms; rồi Order Service gọi tiếp sang Inventory Service và bị ngâm ở đây tới 2.970ms.
Điểm ăn tiền nhất của Tracing, theo tác giả, là khi bung chi tiết các Span con bên trong Inventory Service ra: câu lệnh SQL Query thực chất chỉ tốn đúng 4ms, nhưng Span ngay trước đó là acquire connection — xin cấp kết nối tới cơ sở dữ liệu — lại ngốn tới 2.962ms. Nói cách khác, database không chậm; thứ chậm là việc chờ được cấp một connection để nói chuyện với database.
Khi kiểm tra phần Span Attributes ở bước xin cấp kết nối này thì nguyên nhân gốc rễ lộ diện: ứng dụng đang dùng một Connection Pool kết nối tới PostgreSQL với cấu hình max_pool_size = 20. Ngay tại thời điểm đó, cả 20 connection đều đang ở trạng thái in_use (đang được sử dụng 100%) và có tới 7 request khác đang phải xếp hàng chờ được nhả connection ra.
Vì sao Connection Pool bị cạn kiệt?
Đây chính là lỗi kinh điển Connection Pool Exhaustion xuất phát từ Connection Leak. Trong quá trình viết code tương tác với Database, có một luồng xử lý nào đó đã mượn connection từ Pool ra nhưng khi chạy xong — hoặc khi văng Exception — lại quên không gọi lệnh close() để trả connection đó về lại cho Pool. Cứ mỗi lần đi vào nhánh code lỗi đó, Pool lại mất vĩnh viễn một connection, cho tới khi chạm trần 20 kết nối, khiến các request đến sau phải đứng đợi tới lúc bị timeout. Điều này cũng giải thích vì sao P99 đã âm ỉ tăng từ 9 giờ tối: pool bị rò rỉ dần dần, không phải sập đột ngột.
Phần kết của video khá hài hước nhưng cũng rất thực tế: vì Inventory Service này do một người đã nghỉ việc từ hơn một năm trước viết ra và không ai dám sửa code lúc 3 giờ sáng, giải pháp workaround của team trực on-call là restart lại pod/service để xóa sạch Connection Pool làm lại từ đầu. Restart không sửa lỗi — nó chỉ reset đồng hồ đếm ngược tới lần cạn pool tiếp theo.
Áp dụng ngay: quy trình điều tra và checklist trị dứt điểm
Quy trình khoanh vùng trong bài chia sẻ có thể áp dụng trực tiếp cho lần trực sự cố tiếp theo của bạn:
- Đọc kỹ cảnh báo trước khi mở dashboard. Ghi rõ điều kiện trigger (ví dụ: P99 > 2s trong 5 phút), giá trị hiện tại so với bình thường (3,2s so với 180ms), tỉ lệ lỗi và service bị gọi tên. Cảnh báo tốt đã chứa một nửa chẩn đoán.
- Mở Metrics của service bị gọi tên và loại trừ theo thứ tự. Kiểm tra lưu lượng (Counter) để loại trừ spike traffic, kiểm tra CPU/Memory (Gauge) để loại trừ quá tải tài nguyên, rồi nhìn độ trễ gọi ra ngoài theo phân vị (Histogram): P50 đẹp nhưng P99 dựng đứng nghĩa là service khỏe nhưng đang chờ một service khác.
- Chuyển sang Logs với bộ lọc hẹp. Lọc theo service, route và ngưỡng duration (ví dụ:
duration >= 2000ms), mở một request chậm và xem lời gọi outbound nào chiếm phần lớn thời gian. - Mang Trace ID sang Traces. Đọc timeline các Span, bung Span con của service chậm nhất, và đọc Span Attributes — đặc biệt là các thuộc tính về pool, hàng đợi và thời gian chờ.
- Chữa cháy trước, trị gốc sau. Khôi phục dịch vụ bằng biện pháp an toàn nhất (trong câu chuyện này là restart), ghi lại toàn bộ bằng chứng đã thu thập, rồi mới sửa code khi tỉnh táo và có review.
Để trị dứt điểm lỗi Connection Leak, tác giả nêu checklist dành cho nhóm làm Java/Spring Boot với HikariCP — và nguyên tắc chung cũng đúng cho các stack khác:
- Rà soát mọi chỗ mở connection thủ công, đưa vào khối
try-with-resourcesđể connection luôn được đóng kể cả khi văng Exception. - Quản lý chặt vòng đời của
@Transactional, tránh giữ connection xuyên suốt một giao dịch dài không cần thiết. - Bật
leakDetectionThresholdđể hệ thống tự động in ra stack trace cảnh báo ngay khi có một connection bị giữ quá lâu. - Đảm bảo Trace ID được đẩy vào log context của mọi service, từ Gateway xuống tận Database, để lần sau Logs không bị đứt đoạn.
Ba trụ cột, mỗi trụ cột trả lời một câu hỏi khác nhau
| Trụ cột | Câu hỏi nó trả lời | Bằng chứng trong sự cố này | Giới hạn theo góc nhìn của tác giả |
|---|---|---|---|
| Metrics (Prometheus/Grafana) | Hệ thống có đang quá tải hay lưu lượng có tăng đột biến không? | Traffic phẳng 40 request/giờ, CPU 4%, P50 20ms nhưng P99 2,9 giây | Chỉ là con số tổng hợp, không chỉ đích danh được request nào, service nào đang chậm |
| Logs (Filebeat/Elasticsearch) | Request chậm cụ thể nào, và nó kẹt ở lời gọi nào? | Bản ghi 2.970ms cho thấy lời gọi sang Inventory Service là thủ phạm | Vô dụng nếu service quên đẩy Trace ID vào log context — như Inventory Service trong câu chuyện |
| Traces (Distributed Tracing) | Thời gian của một request đã đi đâu, từng mili-giây một? | Span acquire connection 2.962ms so với SQL 4ms; pool 20/20 in_use, 7 request chờ |
Chi tiết nhất nhưng cũng tốn công nhất — chỉ nên dùng sau khi Metrics và Logs đã thu hẹp phạm vi |
Câu hỏi thường gặp
1. P99 latency nghĩa là gì? P99 là phân vị thứ 99 của thời gian phản hồi: 99% request nhanh hơn mốc này, chỉ 1% chậm hơn. Trong sự cố này, P50 vẫn đẹp (20ms) nhưng P99 lên tới 2,9 giây — nghĩa là đa số request vẫn nhanh, nhưng một nhóm nhỏ bị ngâm rất lâu, và chính nhóm đó tạo ra trải nghiệm tệ cùng lỗi 504.
2. Thấy lỗi 504 ở API Gateway thì có phải Gateway bị lỗi không? Theo tác giả, không phải. 504 Gateway Timeout nghĩa là Gateway đã chờ quá lâu mà không nhận được phản hồi từ một downstream service. Gateway chỉ là nơi triệu chứng lộ ra; nguyên nhân nằm ở service phía sau — trong câu chuyện này là Inventory Service.
3. Vì sao restart service lại làm sự cố biến mất tạm thời? Vì restart xóa sạch Connection Pool và tạo lại từ đầu với đủ 20 connection trống. Nhưng code rò rỉ vẫn còn đó, nên pool sẽ lại bị ăn mòn dần cho tới lần cạn tiếp theo. Restart là biện pháp chữa cháy, không phải cách sửa lỗi.
4. leakDetectionThreshold trong HikariCP làm gì?
Đó là ngưỡng thời gian phát hiện rò rỉ kết nối: khi một connection bị giữ quá ngưỡng mà chưa trả về pool, HikariCP tự động in ra stack trace cảnh báo, giúp đội phát triển biết chính xác đoạn code nào đang giữ connection quá lâu.
5. Nếu hệ thống chưa có Distributed Tracing thì điều tra bằng gì? Vẫn bắt đầu bằng Metrics để loại trừ quá tải và spike traffic, rồi dùng Logs với bộ lọc theo service, route và duration để tìm request chậm. Nhưng bài chia sẻ nhấn mạnh một điều kiện tiên quyết: Trace ID phải được gắn đồng bộ vào log của mọi service. Nếu thiếu mắt xích này, Logs sẽ đứt đoạn đúng lúc cần nó nhất — và đó là lý do nên đầu tư cho Tracing trước khi sự cố xảy ra, chứ không phải sau.
Nguồn: bài chia sẻ của Lữ Minh Khương trong nhóm VGU Tech Alumni (16/11/2026), tóm tắt và bình luận video "3AM Observability Crash Course (A True Story)" của kênh YouTube pouria. Toàn bộ con số, tên service và chi tiết điều tra trong bài là nội dung mô phỏng trong video, được tác giả bài đăng thuật lại — không phải số liệu đo đạc độc lập của Wotech.
Bài viết liên quan

18 tháng 11, 2026 · 9 phut doc
Chủ tịch FPT Software: khách hàng Mỹ không còn muốn trả theo giờ, công ty chuyển sang tính phí theo kết quả
Trí tuệ nhân tạo đang buộc FPT Software chuyển đổi mô hình gia công phần mềm truyền thống: các khách hàng lớn tại Mỹ hiện áp dụng mô hình thanh toán 100% dựa trên kết quả đầu ra, và công ty dự kiến t…

18 tháng 11, 2026 · 8 phut doc
Meta mở rộng Muse sang Úc: quốc gia thứ 6, Voice thời gian thực và tích hợp ứng dụng địa phương
Ngày 17/11/2026, Meta tiếp tục mở rộng Muse sang thị trường Úc — quốc gia thứ 6 được hỗ trợ chính thức, chỉ hơn 2 tháng sau khi ra mắt tại Mỹ. Theo bài đăng của Hồ Hoàng Tiến (18/11/2026), điểm đáng …

18 tháng 11, 2026 · 8 phut doc
Chi phí AI agent tăng theo bình phương số bước: 4 tầng cắt tiền token trước khi đổi model rẻ hơn
Bạn không trả tiền cho câu trả lời — bạn trả cho số lần bạn hỏi lại cùng một thứ. Đó là luận điểm trung tâm của Hoang Viet AI trong bài đăng tại nhóm comailo (18/11/2026): một agent chạy 40 bước, mỗi…