
Vũ Khôi
Tác giả tại Wotech Electronics Blog

《Harness工程的终结》:当AI自己编写并评分harness,人类只剩下评分数据集
中国研究人员刚刚发表了一篇论文,其标题足以让所有AI Agent框架警惕:《The End of Harness Engineering》——Harness工程的终结。据Học lập trình cho người mới bắt đầu页面2026年11月15日的帖子,这篇论文的论点可以用一句话概括:人类亲手编写包裹AI模型的程序正在逐渐成为一项过时的技能,因为AI循环可以自己生成、评估和改进harness——而人类只剩下一个角色:设计评分数据集。
快速回答:据帖子称,论文《The End of Harness Engineering》认为,人类编写的harness只是关于如何在特定时刻解决特定任务的一种猜测,部署之后便运行数月而无人重新阅读或评估其效果。相比之下,由AI循环生成的harness是一个能够自我评估的文件:一个小型4B模型读取已发生的错误并提出8处修改,只有在独立测试问题集上得分最高的修改才会被保留,而执行主要任务的大模型则保持完全不变。人类的角色缩小为唯一一个组成部分:评分数据集(scoring set)——用于为harness打分的问题集合。框架将变得可以持续替换和丢弃,而设计测试才是核心工作。
Harness是包裹AI模型的程序:负责提示词、工具调用、思考—行动循环、结果检查和错误处理的代码——用Wotech此前介绍过的公式简言之:Agent = Model + Harness。评分数据集(Scoring set)是用于为harness版本打分和选择的一组独立测试问题或任务。
《The End of Harness Engineering》提出了什么论点?
据帖子称,中国研究人员认为,人类亲手编写包裹AI模型的程序正在逐渐成为一项过时的技能。人类编写的harness,从本质上说,只是关于如何在特定时刻解决特定任务的一种猜测。它被部署之后,便运行数月而无人重新阅读或评估——这意味着最初的猜测就这样持续存在,尽管任务、数据或底层模型已经发生了变化。
相比之下,由AI循环生成的harness是一个能够自我评估的文件。系统不再依赖人类静态的猜测,而是持续测量、提出变更,并且只保留真正提高分数的变更。据帖子称,整篇论文被浓缩在一张由Mr Buzz分享的图片中——这也是原帖中唯一的插图。
需要注意:本文按照Facebook帖子所述呈现论文的论点;Wotech尚未阅读或独立核实该研究的全文。
生成harness的AI循环如何运作?
据帖子描述,该循环的步骤如下:
- 小模型读取错误:一个小型4B模型(40亿参数)读取harness运行过程中发生的错误。
- 提出多处修改:小模型为harness提出8处修改。
- 独立评分:每处修改都在一组独立的测试问题上打分——与用于生成修改的数据分开。
- 只保留最佳版本:只有得分最高的修改会被保留,其余的都被丢弃。
- 大模型保持不变:执行主要任务的大模型保持完全不变,在整个过程中不更新权重。
帖子举例说:将一个大型语言模型置于执行主要任务的位置,每经过一次循环,系统就会重写并优化围绕该模型的harness。因此,harness不再是人类一次性编写的静态产物,而是一个活的文件,根据可测量的证据不断被重写。
人类编写的harness与AI循环生成的harness有何不同?
| 方面 | 人类编写的harness | AI循环生成的harness |
|---|---|---|
| 本质 | 关于如何在某一时刻解决任务的一种猜测 | 一个能够自我评估的文件 |
| 效果评估 | 部署后通常无人重新阅读或评估 | 每次迭代都在独立测试集上打分 |
| 改进 | 取决于人类的时间和注意力 | 自行提出多处修改,只保留得分最高的版本 |
| 主模型 | 可能随harness一起改变 | 保持完全不变,不更新权重 |
| 寿命 | 数月运行不变 | 每次迭代都持续重写和优化 |
人类还剩下什么角色?
帖子提出的核心问题是:人类的角色还剩下什么?据帖子称,论文的回答是,这个角色缩小为唯一一个组成部分:评分数据集(scoring set)——用于为harness打分的问题集合。
其影响非常显著。框架将变得可以持续替换和丢弃:如果harness可以自我重写和自我评分,价值就不再属于某个特定的框架,而属于用于在harness之间进行选择的测试的质量。设计测试——选择正确的问题、任务和评分标准——成为核心工作。
换句话说,人类从编写“答案”(harness)转向编写“考题”(评分数据集)。一个糟糕的评分数据集会选出糟糕的harness,无论循环运行多少次;一个好的评分数据集才是决定最终系统好坏的关键。
这对构建AI Agent的人意味着什么?
如果论文的论点成立,以下几个变化值得关注:
- 手工编写harness的价值下降:如论文所称,亲手围绕模型编写提示词、循环和错误处理可能成为一项过时的技能。
- 评估设计成为核心:设计独立测试集、评分标准和选择流程成为Agent构建者的核心工作。
- 框架变得一次性:团队不再长期绑定某一个框架,而是随着循环找到更好的harness而持续替换和丢弃框架。
- 大模型静止,harness运动:在优化harness的同时保持主模型不变,表明性能提升可以来自包裹层,而不一定需要更换模型或微调权重。
不过仍需谨慎:这是一篇论文的论点,通过一篇Facebook帖子和一张图片进行概括。该方法的适用范围——适合哪些任务类型、运行循环的成本如何、评分数据集需要多大——在帖子中没有说明,Wotech也尚未独立核实这些说法。
常见问题
1. 什么是《The End of Harness Engineering》? 据Học lập trình cho người mới bắt đầu页面的帖子,这是中国研究人员一篇论文的标题。该论文认为,人类亲手编写包裹AI模型的程序正在逐渐成为一项过时的技能。
2. 生成harness的AI循环如何运作? 一个小型4B模型读取已发生的错误并提出8处修改;只有在独立测试问题集上得分最高的修改才会被保留,而执行主要任务的大模型保持完全不变。
3. 据论文称,人类编写的harness有什么问题? 它只是某一时刻的一种猜测,部署之后便运行数月而无人重新阅读或评估其效果。
4. 人类还剩下什么角色? 设计评分数据集(scoring set)——用于为harness打分的问题集合。框架变得可以持续替换,而设计测试才是核心工作。
5. 本文核实过这篇论文吗? 没有。本文按照Facebook帖子和Mr Buzz分享的摘要图呈现论文的论点;Wotech尚未阅读或独立核实该研究的全文。
本文改写自Học lập trình cho người mới bắt đầu页面2026年11月15日的帖子,该帖概括了论文《The End of Harness Engineering》。文中的论点、数字和机制均来自原帖和Mr Buzz分享的摘要图;Wotech尚未独立核实该研究的全文。
Bài viết liên quan

16 tháng 11, 2026 · 1 phut doc
'看完之后,你的大脑将不再一样':Lara Boyd关于神经可塑性的4堂课
Dung Lê于2026年11月14日在Facebook群组中发表的一篇帖子讲述了观看脑科学家Lara Boyd TEDx演讲的经历——以及这次演讲如何改变了作者对学习的理解。本文转述作者从演讲中得出的4堂课,以及作者的个人故事。文中的科学内容和引文均按作者对演讲的转述,未与原版独立核对。

16 tháng 11, 2026 · 1 phut doc
Breakscale:不要等应用崩溃才知道它在哪里崩溃——先让它崩溃
你用VibeCoding做了一个网站,10个人测试时运行良好,第二天一投广告,人一多就崩溃了——却不知道它在哪里崩溃、该修哪里。这就是Breakscale想要解决的问题:这是一个开源的系统设计模拟器,它反其道而行之:搭建起系统,把用户量加到它崩溃为止,并向你展示它在哪里崩溃、为什么崩溃。本文基于Code Web Không Khó页面2026年11月16日的介绍帖子;各项功能和数据均来自该帖子及…

16 tháng 11, 2026 · 1 phut doc
IT专业学生失业怪AI:'AI没有抢走工作,懒惰和自以为是才正在淘汰你'
2026年11月16日上午,Facebook群组IT for Beginners中的一篇匿名帖子引起了关注,其论点与主流相反:IT专业学生毕业后失业不是因为AI抢走了工作,而是因为他们在大学期间的学习方式和态度。本文转述作者的观点——作者自称自己也还是一名在校学生——以及作者给出的例子和观察。这些是作者的个人意见,未经独立核实。