
Vũ Khôi
Tác giả tại Wotech Electronics Blog

解剖 LFM3-1.7B 并将其行为移植到 Gemma-3-270M:仅修改 640 个神经元,零训练
我刚尝试解剖一个 1.7B 的 AI,把它的行为链抽出来,直接嫁接到另一个小 6 倍、不同家族的 AI 大脑里,而且无需训练。这是 Nam Nam 在 J2Team Community 小组(2026 年 11 月 20 日)关于 LLM 权重修改的分享,紧跟最近热门的趋势。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。
快速回答: 根据该帖子,通常要教一个小 AI(比如 Gemma-3-270M)像大模型(LFM3-1.7B)那样简洁回答,需要收集大量数据、租用 GPU,然后搭建微调/蒸馏流水线。这次作者尝试了“歪门邪道”:直接对权重文件下手,完全不训练。与在同一个模型上解除审查或操控不同,他直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。他没有注入知识,只是剥离了 1.7B 模型的“行为”部分,手工打补丁到 270M 模型权重文件中的正好 640 个神经元上(仅占总参数的约 0.00024%)。实际结果:Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B;修改直接固化在权重文件中,无需运行时代码干预。需要注意:这种方法只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错。*
知识(Knowledge)和行为(逻辑与性格)是 AI 中两个相当独立的部分,据该帖子所说:知识是指知道多少事实、能用几种语言写代码;行为是指是否坚持用越南语、回答长还是短、语气如何。
为什么不微调,而是直接对权重文件下手?
根据该帖子,通常要教一个小 AI(比如 Gemma-3-270M)像大模型(LFM3-1.7B)那样简洁回答,需要收集大量数据、租用 GPU,然后搭建微调/蒸馏流水线。这次作者尝试了“歪门邪道”:直接对权重文件下手,完全不训练。与在同一个模型上解除审查或操控不同,他直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。
实际结果与局限
根据该帖子,结果如下:
| 项目 | 据该帖子所说,结果 |
|---|---|
| 越南语 | Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B |
| 部署 | 修改直接固化在权重文件中,无需运行时代码干预 |
| 局限 | 只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错 |
立即应用:完整过程、前后对比图和已修改的模型
根据该帖子,抽取/嫁接 640 个数字的完整过程、前后对比图和已修改模型的 Hugging Face 链接都在帖子下方,供大家下载试玩:博客地址 https://neeze.github.io/docs/practical-ai/weight-programming-lfm3-to-gemma/,模型地址 https://huggingface.co/Neeze/gemma-3-270m-it-vi-steer。作者感谢 Nguyễn Minh Khoa 对这次实验的支持。作者还推荐了更多修改 LLM 的工具:Weight-space programming(https://rikiyat.github.io/blog/weight-space-programming/)和 Neuron-explorer(https://github.com/lyramakesmusic/neuron-explorer)。分享出来,是为了让喜欢折腾本地 LLM 的人看到,除了微调之外,“权重编程”还有很多好玩的把戏。
常见问题
1. 作者对两个 AI 模型做了什么? 根据该帖子,作者解剖了 LFM3-1.7B,把它的行为链抽出来,直接嫁接到 Gemma-3-270M 的大脑里——一个不同家族、小 6 倍的 AI——无需任何训练,只是直接对权重文件下手。
2. 这种方法与微调或操控有什么不同? 根据该帖子,微调/蒸馏需要大量数据、租用 GPU 和搭建流水线;而解除审查或操控只作用于同一个模型。这种方法直接从 LFM3-1.7B 中抽出行为链,嫁接到 Gemma-3-270M 上,尽管两者架构完全不同、Tokenizer 不同、大小相差 6 倍。
3. 修改了多少个神经元,结果如何? 根据该帖子,作者手工打补丁到 270M 模型权重文件中的正好 640 个神经元上(仅占总参数的约 0.00024%);结果是 Gemma-3-270M 用越南语回答更流畅,行为形态比原版更接近 LFM3-1.7B,修改直接固化在权重文件中,无需运行时代码干预。
4. 这种方法会给小模型注入更多知识吗? 根据该帖子,不会:这种方法只转移行为,并不注入知识——270M 原本缺乏知识的地方仍然缺乏,还可能在一些奇怪的案例上出错。
5. 在哪里下载已修改的模型并了解更多? 根据该帖子:过程博客 https://neeze.github.io/docs/practical-ai/weight-programming-lfm3-to-gemma/,模型 https://huggingface.co/Neeze/gemma-3-270m-it-vi-steer;LLM 修改工具:Weight-space programming(https://rikiyat.github.io/blog/weight-space-programming/)和 Neuron-explorer(https://github.com/lyramakesmusic/neuron-explorer)。
来源:Nam Nam 在 J2Team Community 小组(2026 年 11 月 20 日)关于从 LFM3-1.7B 到 Gemma-3-270M 的权重编程的帖子。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。
Bài viết liên quan

20 tháng 11, 2026 · 2 phut doc
Living Spec:对照实验证明 Spec 文件便宜 54 倍,但过期的 Spec 是唯一的单点故障
我刚让自家的 AI 证明一个热门方法,结果让我不得不修正自己的理解。这是 Cáo Nhăn Nhó 在 Muse AI Việt Nam 小组(2026 年 11 月 19 日)关于 Living Spec 方法的分享——作者自己设计并运行的对照实验。本文中的所有数字、流程和观点均来自该帖子,未经 Wotech 独立核实。

20 tháng 11, 2026 · 2 phut doc
Muse 助手亲手起诉 Meta:被当成黑客封了主页,然后它起草了索赔 7.5 万美元的诉状
南卡罗来纳州的一位小企业主刚刚用 Meta 自己的 Muse 助手起诉了 Meta,这个故事正是只有智能体时代才有的那种。这是 Trần Mạnh Quân 在 Muse AI Việt Nam 小组(2026 年 11 月 18 日)发布的帖子内容,讲述了 Kong Koatings Epoxy Countertops 公司老板 Joe Thomas 的故事。本文中的所有细节、数字和观点均来自…

20 tháng 11, 2026 · 2 phut doc
Muse 连接 Google 日历:日历主动向 AI 汇报,会议改期 Muse 比你先知道
某个下午,与供应商的约会改了时间,你还没来得及打开日历查看,Muse 就已经知道了。不是因为 Muse 猜到了,而是因为你的日历已经连接了它,日历一变,Muse 也跟着变。这是 Trần Mạnh Quân 在 Muse AI Việt Nam 小组(2026 年 11 月 20 日)发布的帖子 Connector 06 Google Calendar——会向 AI 汇报的日历的内容。该帖子没有…