本地 AI 一年之变：从 15 token/秒"干不了活"到双 RTX 5070 Ti 跑出 400 token/秒

今年年初，在家里跑本地 AI 仍是一种令人泄气的体验：小模型太弱，大模型只有 15 token/秒、上下文缩到 8K，连一个代码仓库都读不完。但据越南一位 GPU 玩家刚刚分享的实际体验，仅仅一年，局面已经完全改变：一台使用两块 RTX 5070 Ti 16GB 的主机——整机价格比单块 RTX 5090 还便宜——让 Qwen 27B 模型在生成代码时峰值跑到 400 token/秒，上下文保持在 200K 以上，质量也已逼近一线云端模型。

快速回答

• 2026 年初（作者亲测）：单块 RTX 5080 16GB 通过 llama.cpp 只能较好地驱动小模型；7B–14B 模型约 70 token/秒、上下文上限 32K，但基本写不了真正的代码；大模型则掉到约 15 token/秒，上下文只剩 8K。
• 双卡 5080 也救不了：PCIe x8/x8 的带宽瓶颈把速度拉到约 15–20 token/秒，慢到无法交付任务。当时想用本地 AI 干正事，至少要 RTX 5090 32GB 或专业 Quadro，贵到本地 AI 几乎只是大企业的专利。
• 现在：在 Core Ultra 9 285K、128GB 内存、2× RTX 5070 Ti 16GB 的主机上，Qwen 3.8 27B 生成代码时峰值约 400 token/秒，平均约 140 token/秒，上下文仍在 200K 以上——按作者的说法，尽管走 PCIe x8，速度几乎追平单块 5090 32GB。
• 最大的变化是模型质量：按作者评价，Flash 版已逼近 Claude Sonnet，27B 版"真正能与前沿模型同级干活"——再加上 token 无限量、可 24/7 不间断运行。
• 文中全部数据都是作者在自有及熟人硬件上的实测体验，并非厂商公布数据。

年初：为什么本地 AI"只能玩玩"？

作者手里有不少 PC 配件和 GPU 可供折腾。他回忆年初用单块 RTX 5080 16GB 通过 llama.cpp 测试时，立刻撞上两个大问题：

• 小模型（7B、9B、14B）：速度尚可，约 70 token/秒，上下文上限约 32K——但能力只够做聊天机器人和杂活，真正写不了什么代码。
• 大模型：速度降到约 15 token/秒，上下文严重缩水到约 8K——仓库还没读完上下文就溢出了。

把同一个模型拆到两块 5080 上也没有改善：PCIe 插槽运行在 x8/x8，带宽限制让速度严重下降，只剩约 15–20 token/秒，慢到无法交付任务。

当时的结论相当扎心：想让本地 AI 干正事，至少需要 RTX 5090 32GB 显存或专业 Quadro，而单卡价格已经很高，还没算配套硬件——本地 AI 几乎只是大企业的专利。和当时的云端 AI 相比，除了数据隐私，花一大笔钱几乎买不到任何额外好处：每月约 100 美元的云服务就足够日常工作。

现在："比一块 5090 还便宜"的整机干起了正事

转折点来自作者体验了一位熟人的主机——对方已经使用本地 AI 超过 6 个月：

部件	受测配置
CPU / 内存	Intel Core Ultra 9 285K / 128GB RAM
GPU	2× RTX 5070 Ti 16GB（与此前一样运行在 x8/x8）
受测模型	Qwen 3.8 27B 与 Qwen 3.8 Flash，由双卡共同承载同一个模型
配套优化	多个本地 AI 优化仓库，值得一提的是 capy-flash 与 deepseek harness
整机价格	按作者说法，整台 PC 比当前单块 RTX 5090 还便宜

测出的结果连作者都感到意外：

• Qwen 3.8 27B 在生成代码时峰值可达约 400 token/秒，Flash 版约 200 token/秒，平均速度约 140 token/秒——按作者的说法超过了当今的前沿模型，完全够快到干正事。
• 上下文仍大于 200K，且能装进两块 GPU；尽管走 PCIe x8，速度几乎追平单块 5090 32GB。Flash 版还因 128GB 系统内存可做 offload 而获得更大的上下文。
• 模型质量脱胎换骨：按作者评价，Qwen 3.8 Flash 已逼近 Sonnet，27B 版真正能与前沿模型同级工作；即将到来的 Qwen 4.0 27B 预计会更火。

原帖附带的基准表也在其他测试轮次中印证了同一图景：代码、散文与越南语混合测试的平均解码速度约 248 token/秒，其中越南语单项约 113 token/秒——对越南用户是个值得注意的细节，因为越南语通常是多语言基准中最慢的部分。

隐私之外，本地 AI 的三个新优势

过去，忍受本地 AI 高价的理由几乎只有数据隐私。按这篇体验，秤盘上已经加上了非常实际的砝码：

• Token 无限量、永不被打断：没有云套餐那种按小时或按月的额度；机器可以 24/7 干活，长任务挂夜里跑也不怕触顶。
• 速度已越过"能干活"的门槛：平均约 140 token/秒、峰值 400 token/秒时，等待模型产出代码基本不再是瓶颈。
• 独立显卡在图像与视频上占优：媒体类模型在带独立显存的 GPU 上，速度远超使用统一内存（unified memory）的机器（如 Mac、DGX Spark）；而且用户随时可以再加显卡扩显存、跑更大的模型。

反过来，统一内存机器据主机主人评价（作者本人未亲测）速度明显慢于显存型 GPU，胜在能装下非常大的模型；但图像处理能力明显受限。

还剩什么短板？

作者也坦率指出另一面：本地 AI 的价格仍然不属于大多数人，尤其是在配件价格已经翻了几倍的当下。两块中端显卡加 128GB 内存依然是一笔可观的投入，还没算电费和调优折腾。因此在现阶段，它是重度用户值得做的长期投资，或者纯粹是爱好者的折腾对象——还不是面向大众的云替代方案。

常见问题

双卡走 PCIe x8/x8 会不会卡带宽？

会——年初正是它把 2× RTX 5080 拖到约 15–20 token/秒。但在 2× RTX 5070 Ti 的新测试里，整体速度仍接近单块 5090：因为模型、推理软件和优化仓库都进步了，PCIe 瓶颈不再像以前那样起决定性作用。为了扩显存跑更大模型而加显卡时，作者同样认为插槽间链路速度的影响已小得多。

本地 AI 干正事需要多少显存？

按本文体验：16GB（一块 5080）只够聊天机器人级的小模型；要让约 27B 的模型以可用速度和上下文运行，当前实际门槛约为 32GB 总显存（这里是双 16GB 卡共载一个模型），外加较大的系统内存以便需要时 offload。此前这个门槛意味着单块 5090 32GB 或专业 Quadro。

Token/秒（tok/s）高对实际工作意味着什么？

它就是模型生成文本/代码的速度：约 15 tok/s 比阅读速度还慢、交长任务时等待感强烈；约 70 tok/s 够做聊天机器人；而像新测试的 140–400 tok/s，代码生成近乎即时，"交付—等待—检查"的循环不再卡在等模型上。

本地 AI 已经能替代云端 AI 了吗？

对大多数人还没有，因为硬件价格门槛仍然高。但对重度用户，优势已不止隐私：token 无限、24/7 运行、速度高、数据不出门。经济账也随之翻转：不再无限期按月付云费用，而是一次性买硬件、无限量使用——值不值，取决于你的真实用量。

统一内存机器（Mac、DGX Spark）怎么样？

强项是统一内存池大，能装下主流显卡装不下的超大模型。弱点按文中转述的评价：推理速度明显慢于显存型 GPU，图像处理尤其受限。它适合"要跑极大模型"优先于"要速度"的场景。

结语

一年的变化不是某一次单点突破，而是三件事的叠加：中等规模的开放模型已经好到能干正事，推理软件与优化仓库把主流硬件的潜力压榨得好得多，而双中端卡的配置如今能给出曾经只有贵数倍的旗舰卡才有的速度。本地 AI 正从"有多余显卡的人的玩具"变成一个严肃的工作选项——剩下的门槛，几乎只剩配件价格。

来源：Lê Thế Vinh 在 Facebook 社群 AI Vietnam 的体验分享帖（2026 年 11 月 6 日），由 Wotech Electronics 编辑整理。文中全部性能数据均为作者在个人硬件上的实测结果，并非厂商公布数据。插图：原帖附带的基准表。