🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦
AtlasKV 将 10 亿知识图谱三元组装进 LLM,仅需不到 20GB 显存:RAG 要被掀翻了吗?
Quay lại Blog

AtlasKV 将 10 亿知识图谱三元组装进 LLM,仅需不到 20GB 显存:RAG 要被掀翻了吗?

22 tháng 11, 20262 phút đọcVũ Khôi
Tiếng Trung
#Tiếng Trung#AI tạo sinh#Dữ liệu & Database
Vũ Khôi

Vũ Khôi

Tác giả tại Wotech Electronics Blog

Wotech 制作的封面插图:语言模型直接连接到知识图谱网络,无需中间的向量数据库

AtlasKV 将 10 亿知识图谱三元组装进 LLM,仅需不到 20GB 显存:RAG 要被掀翻了吗?

RAG 要被掀翻了吗?一个研究团队找到了把 10 亿条知识装进 LLM、仅需不到 20GB 显存的方法,而且不需要向量数据库——这是 Hỏi Dân it Offical 主页(2026 年 11 月 21 日)介绍 AtlasKV 研究(arXiv:2510.17934)的帖子内容。本文中的所有数字、技术和观点均来自该帖子及研究的官方摘要,未经 Wotech 独立核实。原帖附带的图片与内容无关的插图(帖子本身就是这么说的),因此上方的封面是 Wotech 制作的插图。

快速回答: 几年来,想让聊天机器人基于私有数据回答问题的人,通常要搭建一整条流水线:切分文档、生成 Embedding、存入向量数据库、搜索、排序结果,再把结果喂回 LLM。而现在一个研究团队提出了一个相当大胆的想法:把整个知识库放进 AI 可以直接访问的内存里,而不是每次有问题都让它跑出去搜索。这项实验的名字叫 AtlasKV。而引人注目的数字是 10 亿——不是 10 亿参数,也不是 10 亿上下文 Token,而是 10 亿知识图谱三元组(Knowledge Graph Triples),在一个目标 GPU 显存占用低于 20GB 的架构中处理。AtlasKV 使用 KG2KV 和 HiKVP 两项技术,把知识从知识图谱转换为键值(Key-Value)结构,供模型访问。该架构还被设计为可以在不重新训练 LLM 的情况下补充新知识。但是,把 10 亿知识图谱三元组放进内存架构,并不意味着把全部 10 亿条知识塞进 LLM 的权重,也不意味着模型能准确回答所有问题——更不能就此宣布向量数据库即将失业。*

知识图谱三元组(Knowledge Graph Triple) 是实体之间的一种关系,简单如:NVIDIA → CEO → Jensen Huang;ChatGPT → 开发方 → OpenAI;Python → 创造者 → Guido van Rossum。把数十亿条关系组合起来,就形成了一个庞大的知识网络。

传统 RAG 是如何工作的,为什么它成本高昂?

根据该帖子,几年来,想让聊天机器人基于私有数据回答问题的人,通常要搭建一整条流水线:切分文档、生成 Embedding、存入向量数据库、搜索、排序结果,再把结果喂回 LLM。打个比方,雇了一个 AI 来回答问题,却还要再雇一支后勤队伍专门翻档案、分类文件、把资料送到它桌上。一个 RAG 系统可能要维护多个环节:切分(Chunking)、Embedding、索引、检索、重排序和上下文管理。每个环节都是一笔成本。每次调用额外的服务都增加延迟。每个环节都可能带来出错的机会。对于处理海量查询的企业来说,几十毫秒或一个多余的处理步骤,乘以数百万次使用,就会变成一个金钱问题。

AtlasKV 有什么不同?

根据该帖子,AtlasKV 想把知识网络变成 LLM 可以在注意力(Attention)机制中直接利用的东西。它不再另建一个向量数据库,然后祈祷搜索工具拿到正确的文档,而是使用 KG2KV 和 HiKVP 两项技术,把知识从知识图谱转换为键值结构,供模型访问。通俗地说,传统 RAG 就像一位拥有私人图书馆的总监,每次需要信息都得叫秘书下楼去档案室找书。而 AtlasKV 想重新设计存储方式,让这位总监能够直接获取所需的信息。值得注意的是,研究团队还致力于实现亚线性(Sub-linear)的时间和内存访问复杂度——也就是说,当知识库膨胀时,访问成本不一定会随着知识总量的增长而相应增加。

10 亿和 20GB 显存这两个数字意味着什么?

根据该帖子及研究的官方摘要(arXiv:2510.17934,作者 Haoyu Huang、Hong Ting Tsang、Jiaxin Bai、Xi Peng、Gong Zhang、Yangqiu Song),AtlasKV 是一种参数化知识集成方法,以极低的 GPU 内存成本(例如低于 20GB 显存)用十亿级知识图谱(例如 10 亿三元组)增强 LLM,利用 LLM 固有的注意力机制保持强大的知识 grounding 和泛化性能,且在适应新知识时无需外部检索器、无需长上下文先验、无需重新训练。

项目 据该帖子所说,传统 RAG 据该帖子所说,AtlasKV
知识存放位置 外部的向量数据库 模型直接访问的内存,就在注意力机制内部
每个问题的流程 切分、Embedding、索引、检索、重排序、上下文管理 组织知识让模型直接利用,减少对外部检索链的依赖
知识库膨胀时的成本 每个环节都会增加成本、延迟和出错风险 致力于亚线性访问——成本不一定随知识总量增长
补充新知识 通常需要重新训练或重新跑流水线 无需重新训练 LLM 即可补充知识
举例规模 — 10 亿知识图谱三元组,显存低于 20GB

无需重新训练就能补充新知识,这有什么不同?

根据该帖子,这是一个极其重要的细节:仅仅为了更新知识就重新训练模型,就像每次公司更改产品价目表都要让员工重新上大学一样。而 AtlasKV 找到了一种更新知识部分的方法,无需动用模型的全部权重。

RAG 要“失业”了吗?

根据该帖子,AtlasKV 最值得注意的一击可能不在于 10 亿这个数字,而在于系统架构。但帖子也非常明确地给自己设了界限:把 10 亿知识图谱三元组放进内存架构,并不意味着把全部 10 亿条知识塞进 LLM 的权重,也不意味着模型能准确回答所有问题。更不能就此宣布向量数据库即将失业。RAG 在处理非结构化文档、持续变化的数据或需要独立控制检索来源的系统时,仍然具有明显的优势。AtlasKV 在准确性、成本和实际部署能力方面也还需要进一步评估。

立即应用:给正在部署 RAG 的团队一个值得思考的问题

根据该帖子,这一研究方向给 AI 建设者提出了一个非常值得思考的问题:我们是不是花了太多精力教 AI 如何寻找知识,而真正的问题有一部分在于如何组织内存,让它能够使用知识?如果 AtlasKV 这类方法继续证明有效,AI 基础设施的竞争可能会出现一条新的战线:不是谁拥有最大的模型,也不一定是谁建了最大的向量库,而是谁能让模型以最少的资源、最少的延迟和最少的中间环节接触到正确的知识。归根结底,一个聪明的头脑不一定需要更大的图书馆。有时,它需要的是一种更好地记住和找到正确信息的方法。对于正在为企业部署 RAG 的人来说,如果有一天 LLM 能够以足够低的成本直接访问数十亿条知识关系,向量数据库还会是 AI 架构中的默认组件,还是会逐渐成为只为真正需要它的场景保留的选择?原始研究:AtlasKV,https://arxiv.org/abs/2510.17934。

常见问题

1. 什么是 AtlasKV? 根据该帖子及研究摘要,AtlasKV 是一种参数化知识集成方法,以极低的 GPU 内存成本(例如低于 20GB 显存)用十亿级知识图谱(例如 10 亿三元组)增强 LLM,使用 KG2KV 和 HiKVP 两项技术,把知识从知识图谱转换为键值结构,让模型在注意力机制中直接利用。

2. 10 亿指的是 10 亿个什么? 根据该帖子,指的是 10 亿知识图谱三元组——每个三元组描述实体之间的一种关系,例如 NVIDIA → CEO → Jensen Huang——而不是 10 亿参数或 10 亿上下文 Token。

3. AtlasKV 与传统 RAG 有什么不同? 根据该帖子,传统 RAG 必须通过外部向量数据库维护切分、Embedding、索引、检索、重排序和上下文管理的整条链;而 AtlasKV 组织知识让模型直接利用,减少对外部检索链的依赖,致力于亚线性访问,并在无需重新训练 LLM 的情况下补充新知识。

4. AtlasKV 是把全部 10 亿条知识塞进 LLM 的权重吗? 根据该帖子,不是:把 10 亿知识图谱三元组放进内存架构,并不意味着把全部 10 亿条知识塞进 LLM 的权重,也不意味着模型能准确回答所有问题。

5. 向量数据库要“失业”了吗? 根据该帖子,还不能这么说:RAG 在处理非结构化文档、持续变化的数据或需要独立控制检索来源的系统时,仍然具有明显的优势;AtlasKV 在准确性、成本和实际部署能力方面也还需要进一步评估。

来源:Hỏi Dân it Offical 主页(2026 年 11 月 21 日)介绍 AtlasKV 研究(arXiv:2510.17934,Haoyu Huang、Hong Ting Tsang、Jiaxin Bai、Xi Peng、Gong Zhang、Yangqiu Song)的帖子。本文中的所有数字、技术和观点均来自该帖子及研究的官方摘要,未经 Wotech 独立核实。

Bài viết liên quan

解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练

21 tháng 11, 2026 · 2 phut doc

解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练

我刚尝试解剖一个 1.7B 的 AI,把它的行为链抽出来,直接嫁接到另一个小 6 倍、不同家族的 AI 大脑里,而且无需训练。这是 Nam Nam 在 J2Team Community 小组(2026 年 11 月 20 日)关于 LLM 权重修改的分享,紧跟最近热门的趋势。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

Living Spec:对照实验证明 Spec 文件便宜 54 倍,但过期的 Spec 是唯一的单点故障

20 tháng 11, 2026 · 2 phut doc

Living Spec:对照实验证明 Spec 文件便宜 54 倍,但过期的 Spec 是唯一的单点故障

我刚让自家的 AI 证明一个热门方法,结果让我不得不修正自己的理解。这是 Cáo Nhăn Nhó 在 Muse AI Việt Nam 小组(2026 年 11 月 19 日)关于 Living Spec 方法的分享——作者自己设计并运行的对照实验。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

Muse 助手亲手起诉 Meta:被当成黑客封了主页,然后它起草了索赔 7.5 万美元的诉状

20 tháng 11, 2026 · 2 phut doc

Muse 助手亲手起诉 Meta:被当成黑客封了主页,然后它起草了索赔 7.5 万美元的诉状

南卡罗来纳州的一位小企业主刚刚用 Meta 自己的 Muse 助手起诉了 Meta,这个故事正是只有智能体时代才有的那种。这是 Trần Mạnh Quân 在 Muse AI Việt Nam 小组(2026 年 11 月 18 日)发布的帖子内容,讲述了 Kong Koatings Epoxy Countertops 公司老板 Joe Thomas 的故事。本文中的所有细节、数字和观点均来自…