🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦🎉 Giảm 20% cho đơn hàng đầu tiên!✦🚚 Miễn phí vận chuyển cho đơn trên 500.000₫✦⚡ Flash Sale — Số lượng có hạn!✦🎁 Quà tặng kèm cho đơn từ 1.000.000₫✦
解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练
Quay lại Blog

解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练

21 tháng 11, 20262 phút đọcVũ Khôi
Tiếng Trung
#Tiếng Trung#AI tạo sinh#Lập trình
Vũ Khôi

Vũ Khôi

Tác giả tại Wotech Electronics Blog

该帖子的原图:灭霸从幻视额头上取出心灵宝石——比喻解剖一个 AI 的大脑并将其行为移植到另一个 AI

解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练

我刚尝试解剖一个 1.7B 的 AI,把它的行为链抽出来,直接嫁接到另一个小 6 倍、不同家族的 AI 大脑里,而且无需训练。这是 Nam Nam 在 J2Team Community 小组(2026 年 11 月 20 日)关于 LLM 权重修改的分享,紧跟最近热门的趋势。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

快速回答: 根据该帖子,通常要教一个小 AI(比如 Gemma-3-270M)像大模型(LFM3-1.7B)那样简洁回答,需要收集大量数据、租用 GPU,然后搭建微调/蒸馏流水线。这次作者尝试了“歪门邪道”:直接对权重文件下手,完全不训练。与在同一个模型上解除审查或操控不同,他直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。他没有注入知识,只是剥离了 1.7B 模型的“行为”部分,手工打补丁到 270M 模型权重文件中的正好 640 个神经元上(仅占总参数的约 0.00024%)。实际结果:Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B;修改直接固化在权重文件中,无需运行时代码干预。需要注意:这种方法只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错。*

知识(Knowledge)和行为(逻辑与性格)是 AI 中两个相当独立的部分,据该帖子所说:知识是指知道多少事实、能用几种语言写代码;行为是指是否坚持用越南语、回答长还是短、语气如何。

为什么不微调,而是直接对权重文件下手?

根据该帖子,通常要教一个小 AI(比如 Gemma-3-270M)像大模型(LFM3-1.7B)那样简洁回答,需要收集大量数据、租用 GPU,然后搭建微调/蒸馏流水线。这次作者尝试了“歪门邪道”:直接对权重文件下手,完全不训练。与在同一个模型上解除审查或操控不同,他直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。

实际结果与局限

根据该帖子,结果如下:

项目 据该帖子所说,结果
越南语 Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B
部署 修改直接固化在权重文件中,无需运行时代码干预
局限 只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错

立即应用:完整过程、前后对比图和已修改的模型

根据该帖子,抽取/嫁接 640 个数字的完整过程、前后对比图和已修改模型的 Hugging Face 链接都在帖子下方,供大家下载试玩:博客地址 https://neeze.github.io/docs/practical-ai/weight-programming-lfm3-to-gemma/,模型地址 https://huggingface.co/Neeze/gemma-3-270m-it-vi-steer。作者感谢 Nguyễn Minh Khoa 对这次实验的支持。作者还推荐了更多修改 LLM 的工具:Weight-space programming(https://rikiyat.github.io/blog/weight-space-programming/)和 Neuron-explorer(https://github.com/lyramakesmusic/neuron-explorer)。分享出来,是为了让喜欢折腾本地 LLM 的人看到,除了微调之外,“权重编程”还有很多好玩的把戏。

常见问题

1. 作者对两个 AI 模型做了什么? 根据该帖子,作者解剖了 LFM3-1.7B,把它的行为链抽出来,直接嫁接到 Gemma-3-270M 的大脑里——一个不同家族、小 6 倍的 AI——无需任何训练,只是直接对权重文件下手。

2. 这种方法与微调或操控有什么不同? 根据该帖子,微调/蒸馏需要大量数据、租用 GPU 和搭建流水线;而解除审查或操控只作用于同一个模型。这种方法直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。

3. 修改了多少个神经元,结果如何? 根据该帖子,作者手工打补丁到 270M 模型权重文件中的正好 640 个神经元上(仅占总参数的约 0.00024%);结果是 Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B,修改直接固化在权重文件中,无需运行时代码干预。

4. 这种方法会给小模型注入更多知识吗? 根据该帖子,不会:这种方法只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错。

5. 在哪里下载已修改的模型并了解更多? 根据该帖子:过程博客 https://neeze.github.io/docs/practical-ai/weight-programming-lfm3-to-gemma/,模型 https://huggingface.co/Neeze/gemma-3-270m-it-vi-steer;LLM 修改工具:Weight-space programming(https://rikiyat.github.io/blog/weight-space-programming/)和 Neuron-explorer(https://github.com/lyramakesmusic/neuron-explorer)。

来源:Nam Nam 在 J2Team Community 小组(2026 年 11 月 20 日)关于从 LFM3-1.7B 到 Gemma-3-270M 的权重编程的帖子。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

Bài viết liên quan

Living Spec:对照实验证明 Spec 文件便宜 54 倍,但过期的 Spec 是唯一的单点故障

20 tháng 11, 2026 · 2 phut doc

Living Spec:对照实验证明 Spec 文件便宜 54 倍,但过期的 Spec 是唯一的单点故障

我刚让自家的 AI 证明一个热门方法,结果让我不得不修正自己的理解。这是 Cáo Nhăn Nhó 在 Muse AI Việt Nam 小组(2026 年 11 月 19 日)关于 Living Spec 方法的分享——作者自己设计并运行的对照实验。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

Muse 助手亲手起诉 Meta:被当成黑客封了主页,然后它起草了索赔 7.5 万美元的诉状

20 tháng 11, 2026 · 2 phut doc

Muse 助手亲手起诉 Meta:被当成黑客封了主页,然后它起草了索赔 7.5 万美元的诉状

南卡罗来纳州的一位小企业主刚刚用 Meta 自己的 Muse 助手起诉了 Meta,这个故事正是只有智能体时代才有的那种。这是 Trần Mạnh Quân 在 Muse AI Việt Nam 小组(2026 年 11 月 18 日)发布的帖子内容,讲述了 Kong Koatings Epoxy Countertops 公司老板 Joe Thomas 的故事。本文中的所有细节、数字和观点均来自…

Muse 连接 Google 日历:日历主动向 AI 汇报,会议改期 Muse 比你先知道

20 tháng 11, 2026 · 2 phut doc

Muse 连接 Google 日历:日历主动向 AI 汇报,会议改期 Muse 比你先知道

某个下午,与供应商的约会改了时间,你还没来得及打开日历查看,Muse 就已经知道了。不是因为 Muse 猜到了,而是因为你的日历已经连接了它,日历一变,Muse 也跟着变。这是 Trần Mạnh Quân 在 Muse AI Việt Nam 小组(2026 年 11 月 20 日)发布的帖子 Connector 06 Google Calendar——会向 AI 汇报的日历的内容。该帖子没有…