AI local sau 1 năm: từ 15 token/giây "không làm được việc" tới 400 token/giây trên 2 card RTX 5070 Ti

Đầu năm nay, chạy AI ngay trên máy nhà vẫn là trải nghiệm gây nản: model nhỏ thì yếu, model lớn thì chậm 15 token/giây và context co lại còn 8K, không đọc nổi một repo code. Nhưng theo trải nghiệm thực tế vừa được một người dùng nhiều GPU tại Việt Nam chia sẻ, cuộc chơi đã thay đổi hẳn chỉ sau một năm: trên một dàn máy dùng 2 card RTX 5070 Ti 16GB — có tổng giá rẻ hơn một chiếc RTX 5090 — model Qwen 27B đạt đỉnh 400 token/giây khi sinh code, context vẫn giữ trên 200K, và chất lượng đã tiệm cận các model đám mây hàng đầu.

Trả lời nhanh

• Đầu năm 2026 (trải nghiệm của tác giả): một card RTX 5080 16GB qua llama.cpp chỉ chạy tốt các model nhỏ; model 7B–14B đạt ~70 token/giây với context tối đa 32K nhưng gần như không code được việc thật, còn model lớn tụt xuống ~15 token/giây và context chỉ 8K.
• Ghép 2 card 5080 cũng không cứu được: băng thông PCIe x8/x8 kéo tốc độ xuống ~15–20 token/giây — quá chậm để giao việc. Khi đó, muốn làm việc thật bằng AI local phải có RTX 5090 32GB hoặc card Quadro chuyên dụng, đắt tới mức AI local gần như chỉ dành cho doanh nghiệp lớn.
• Hiện tại: trên dàn máy Core Ultra 9 285K, 128GB RAM, 2× RTX 5070 Ti 16GB, model Qwen 3.8 27B đạt đỉnh ~400 token/giây khi gen code, trung bình khoảng 140 token/giây, context vẫn trên 200K — tốc độ theo tác giả là ngang một card 5090 32GB đơn lẻ dù phải đi qua PCIe x8.
• Chất lượng model là thay đổi lớn nhất: bản Flash theo tác giả đã tiệm cận Claude Sonnet, còn bản 27B "làm việc ngang ngửa frontier" — cộng với lợi thế token không giới hạn, chạy 24/7 không bị ngắt.
• Toàn bộ số liệu trong bài là trải nghiệm đo thực tế của tác giả trên phần cứng của mình và của một người quen, không phải số liệu công bố của hãng.

Đầu năm: vì sao AI local "chỉ để nghịch"?

Tác giả bài viết — một người có khá nhiều linh kiện PC và GPU để vọc — kể lại mốc đầu năm với một card RTX 5080 16GB chạy qua llama.cpp. Hai vấn đề lớn xuất hiện ngay:

• Model nhỏ (7B, 9B, 14B): tốc độ khá, khoảng 70 token/giây, context tối đa ~32K — nhưng năng lực chỉ đủ làm chatbot và việc vặt, thực sự không code nổi việc gì ra hồn.
• Model lớn: tốc độ giảm xuống ~15 token/giây và context co nghiêm trọng còn ~8K — chưa đọc xong repo đã tràn context.

Thử ghép 2 card 5080 cho cùng một model cũng không khá hơn: giới hạn của khe PCIe chạy x8/x8 khiến tốc độ giảm nghiêm trọng, chỉ còn ~15–20 token/giây — quá chậm để giao task.

Kết luận ở thời điểm đó khá phũ: muốn AI local làm việc thật thì cần ít nhất RTX 5090 32GB VRAM hoặc card Quadro chuyên dụng, mà giá một chiếc đã rất cao chưa kể phần cứng đi kèm — AI local gần như chỉ dành cho doanh nghiệp lớn. So với AI cloud khi đó, ngoài lợi thế bảo mật, bỏ ra một cục tiền khổng lồ gần như không lợi gì hơn: chỉ khoảng 100 USD/tháng tiền cloud là đủ cho công việc hằng ngày.

Hiện tại: dàn máy "rẻ hơn một chiếc 5090" chạy được việc thật

Bước ngoặt đến khi tác giả được trải nghiệm dàn máy của một người quen đã dùng AI local hơn 6 tháng:

Thành phần	Cấu hình được test
CPU / RAM	Intel Core Ultra 9 285K / 128GB RAM
GPU	2× RTX 5070 Ti 16GB (chạy x8/x8 như các thử nghiệm trước)
Model test	Qwen 3.8 27B và Qwen 3.8 Flash, chạy gánh chung trên 2 GPU
Tối ưu đi kèm	Một số repo tối ưu cho AI local, đáng chú ý là capy-flash và deepseek harness
Tổng giá	Cả dàn PC rẻ hơn một chiếc RTX 5090 ở thời điểm hiện tại (theo tác giả)

Kết quả đo được khiến chính tác giả bất ngờ:

• Qwen 3.8 27B đạt tốc peak khi gen code tới ~400 token/giây, bản Flash ~200 token/giây, tốc độ trung bình khoảng 140 token/giây — theo tác giả là vượt cả các model frontier hiện nay và hoàn toàn đủ nhanh để làm việc thực sự.
• Context vẫn lớn hơn 200K mà vẫn nhét vừa trên 2 GPU; dù đi qua PCIe x8, tốc độ gần như ngang một card 5090 32GB đơn GPU. Bản Flash còn có context lớn hơn nhờ 128GB RAM hỗ trợ offload.
• Chất lượng model đã khác hẳn: Qwen 3.8 Flash theo tác giả tiệm cận Sonnet, còn bản 27B thực sự làm việc được ngang ngửa frontier; bản Qwen 4.0 27B sắp ra được kỳ vọng sẽ còn "hot" hơn.

Bảng benchmark đính kèm bài gốc cũng cho thấy bức tranh tương tự ở các bài đo khác: tốc độ giải mã (decode) trung bình khoảng 248 token/giây trên hỗn hợp code, văn xuôi và tiếng Việt, với riêng tiếng Việt ở mức ~113 token/giây — một chi tiết đáng chú ý với người dùng Việt, vì tiếng Việt thường là phần chậm nhất trong các bài đo đa ngôn ngữ.

Ba lợi thế mới của AI local ngoài bảo mật

Trước đây, lý do gần như duy nhất để chịu đắt đỏ chạy AI local là bảo mật dữ liệu. Theo trải nghiệm này, cán cân đã thêm những lợi thế rất thực tế:

• Token không giới hạn, không bao giờ bị ngắt quãng: không có hạn mức theo giờ hay theo tháng như gói cloud; máy có thể chạy việc 24/7, giao task dài qua đêm mà không lo chạm trần.
• Tốc độ đã vượt nhu cầu làm việc thật: ở mức trung bình ~140 token/giây và đỉnh 400 token/giây, thời gian chờ model sinh code gần như không còn là nút thắt.
• GPU rời thắng thế ở mảng ảnh và video: các model chuyên ảnh/video chạy trên GPU dùng VRAM riêng cho tốc độ vượt xa kiểu máy dùng bộ nhớ hợp nhất (unified memory) như Mac hay DGX Spark — và người dùng luôn có thể cắm thêm GPU để tăng VRAM, chạy model lớn hơn.

Ngược lại, máy dùng unified memory được chủ dàn máy đánh giá là khá chậm so với GPU VRAM (dù tác giả chưa tự trải nghiệm), bù lại nhét được model rất lớn nhờ dung lượng RAM hợp nhất; riêng khoản xử lý ảnh thì hạn chế rõ rệt.

Hạn chế còn lại là gì?

Tác giả cũng thẳng thắn về mặt trái: giá của AI local vẫn không dành cho đa số mọi người, đặc biệt ở thời điểm giá linh kiện đã tăng nhiều lần. Chạy 2 GPU tầm trung cộng 128GB RAM vẫn là một khoản đầu tư đáng kể, chưa kể tiền điện và công vọc vạch tối ưu. Vì vậy ở hiện tại, đây là lựa chọn đáng đầu tư dài hạn cho người dùng nặng, hoặc đơn giản là dành cho người thích vọc — chứ chưa phải phương án thay thế cloud cho số đông.

Câu hỏi thường gặp

Chạy 2 GPU qua PCIe x8/x8 có bị nghẽn băng thông không?

Có, và đầu năm đó chính là nguyên nhân khiến cấu hình 2× RTX 5080 tụt xuống ~15–20 token/giây. Nhưng ở lần test mới với 2× RTX 5070 Ti, tốc độ tổng thể vẫn gần ngang một card 5090 đơn lẻ — nhờ cả model, phần mềm suy luận và các repo tối ưu đã tiến bộ, nên nút thắt PCIe không còn quyết định như trước. Khi cắm thêm GPU để tăng VRAM cho model lớn hơn, ảnh hưởng của tốc độ liên kết giữa các khe cũng được tác giả đánh giá là không còn quá lớn.

AI local cần bao nhiêu VRAM để làm việc thật?

Theo trải nghiệm trong bài: 16GB VRAM (một card 5080) chỉ vừa cho model nhỏ phục vụ chatbot; muốn chạy model ~27B ở tốc độ và context dùng được, mốc thực tế hiện nay là khoảng 32GB VRAM tổng (ở đây là 2 card 16GB gánh chung một model) cộng RAM hệ thống lớn để offload khi cần. Trước đây mốc này là một card 5090 32GB hoặc Quadro chuyên dụng.

Token/giây (tok/s) cao có ý nghĩa gì trong công việc?

Đó là tốc độ model sinh ra văn bản/code: khoảng 15 tok/s chậm hơn tốc độ đọc và gây cảm giác chờ đợi rõ rệt khi giao task dài; ~70 tok/s đủ cho chatbot; còn 140–400 tok/s như lần test mới thì việc sinh code gần như tức thời, vòng lặp giao việc — chờ — kiểm tra không còn bị nghẽn ở khâu chờ model.

AI local đã thay thế được AI cloud chưa?

Chưa với đa số người dùng, vì rào cản giá phần cứng vẫn cao. Nhưng với người dùng nặng, lợi thế đã vượt ra ngoài bảo mật: token không giới hạn, chạy 24/7, tốc độ cao và dữ liệu ở lại trong nhà. Bài toán kinh tế vì thế đổi chiều: thay vì trả phí cloud hằng tháng vô hạn định, người dùng trả một lần cho phần cứng và dùng không giới hạn — có đáng hay không tùy khối lượng dùng thực tế.

Máy unified memory (Mac, DGX Spark) thì sao?

Ưu điểm là dung lượng bộ nhớ hợp nhất lớn, nhét được model rất lớn mà GPU phổ thông không chứa nổi. Nhược điểm theo đánh giá được dẫn lại trong bài: tốc độ suy luận chậm hơn đáng kể so với GPU dùng VRAM riêng, và xử lý ảnh rất hạn chế. Phù hợp khi cần chạy model cực lớn hơn là khi cần tốc độ.

Kết luận

Sự thay đổi sau một năm không nằm ở một đột phá đơn lẻ, mà ở ba thứ cộng dồn: model mở cỡ vừa đã đủ giỏi để làm việc thật, phần mềm và các repo tối ưu đã bóp được phần cứng phổ thông hiệu quả hơn hẳn, và cấu hình 2 GPU tầm trung giờ cho tốc độ từng chỉ có ở card đầu bảng đắt gấp nhiều lần. AI local vì vậy đang đi từ "đồ chơi của người thừa GPU" thành một lựa chọn nghiêm túc cho công việc — với rào cản còn lại gần như chỉ là giá linh kiện.

Nguồn: bài chia sẻ trải nghiệm của Lê Thế Vinh trong nhóm AI Vietnam trên Facebook (06/11/2026), biên tập và hệ thống hóa bởi Wotech Electronics. Toàn bộ số liệu hiệu năng trong bài là kết quả đo thực tế của tác giả trên phần cứng cá nhân, không phải số liệu công bố của nhà sản xuất. Ảnh minh họa: bảng benchmark đính kèm bài viết gốc.