为什么 Harness 比模型更重要

查看原文 HN 讨论

文章摘要

这是 Y Combinator 官方频道发布的 YC Paper Club 专场录像,完整标题为《Why The Harness Matters More Than The Model YC Paper Club》,时长约 60 分钟,发布于 2026 年 9 月 7 日,上线数日播放量近 28 万。

核心论点

所谓 harness(智能体的外壳/脚手架/执行框架,指围绕模型构建的上下文管理、工具调用、记忆、沙箱、多智能体协作等全部工程层),常被贬低为「只是脚手架」「只是提示词工程」「算不上真正的研究」。这期节目的立场正相反,而它给出的论据相当有冲击力:完全相同的模型权重,在一种 harness 下 ARC-AGI 只得 30 分,换一个更好的 harness 就能拿到 95 分。

为此,YC 召集了一批在前沿工作的研究者和创业者,做了一次关于 harness 现状的深度讨论,内容覆盖三条线:我们是怎么走到今天这一步的;为什么应该让你的 harness 尽可能有表达力;以及 YC 自己在为公司里每一位员工构建智能体的过程中学到了什么。

内容结构与讲者

根据官方章节时间轴,前 18 分钟是主持人的铺垫部分:为什么 harness 重要(00:00)、如何误打误撞做出一个自动研究员(04:27)、五分钟 harness 简史(07:13)、自我改进的 harness(13:56)。

随后是三组讲者的分享:

Seth Karten — Prime Agent:一个自我改进的 RLM harness(18:35 起)

这一段的框架很有意思。他把上下文管理类比成 L1 / L2 / L3 缓存(21:50),并提出了一条从图灵机走向冯·诺依曼计算机的演进叙事(24:51)——意思大约是,智能体不应只是一条读写纸带的执行流,而应该有明确的存储层级和指令/数据的组织方式。之后是智能体之间的消息传递(28:33)、ARC-AGI 的结果(30:04),以及在 Emulator Bench 和 GPU kernel 上的表现(33:09)。

Jon Saad-Falcon — OpenJarvis:跑在个人设备上的个人 AI(37:30 起)

他讨论的是本地化这条路线:本地模型到底落后多少(38:26)、个人 AI 技术栈的五个基元(39:21)、让云端模型来优化你的本地技术栈(42:47),以及最抓人的一个数字——比云端便宜 800 倍(43:53)。

Josh France 与 Regan Bell — QM:YC 自己的办公用智能体 harness(45:58 起)

这一段是最贴近实践的。内容包括 YC 内部智能体的演进史(47:29)、OpenClaw 与一支 50 个智能体组成的舰队(49:24)、把「大脑」从沙箱里拽出来(51:04)、让智能体自己选择沙箱和模型(54:43)、grind 工具:给目标设定预算(57:16),以及最后一个颇具人味的结论——智能体不理解社会情境(Agents don’t understand social context)(58:50)。

这最后一条大概是全场最实用的提醒:把智能体铺到全公司之后,技术问题往往不是最难的;真正的摩擦在于智能体不知道什么时候该问、该等、该抄送谁、该闭嘴。

说明:本文基于视频的官方简介和章节时间轴整理,未逐段转录讲者的具体论述。想了解 ARC-AGI 从 30% 到 95% 这一数字的具体实验条件,需要观看原视频对应章节(30:04 起)。

HN 评论精华

需要如实说明:这条 HN 提交讨论极少。 主帖只有 10 分、两条评论(Algolia 上同一链接的另一次提交是 1 分 0 评论)。因此以下不是「精华」,而是全部。

对标题的一处克制的反驳

gps372 提出了本帖唯一有实质内容的意见:从安全性和可靠性的角度看,harness 确实更重要;但说它比模型本身更重要,是「轻微的夸张」。他担心的是这个标题会让人误以为所有模型都是等价的、harness 可以弥补模型内建能力的缺失——而实际上,模型内部必须先具备诸如专家混合(MoE)、记忆等原生能力,harness 才有东西可用。

这条回应其实指向了一个真实的张力:视频用「相同权重、30% vs 95%」来论证 harness 的价值,但这个论证同时也预设了那份权重本身已经足够强——换一个弱得多的模型,再好的 harness 也未必能把分数抬到那里。可惜没有人接着这条线讨论下去。

一条无人跟进的基准测试提及

faangguyindia 说他最近看到一个基准测试,比较 Qwen 3.8 27b 在 DSH 和 Oh My Pi 两个 harness 下的表现,结论是 DSH 明显更快。他没有给出链接、测试条件或更多细节,也没有任何人回复或追问。

除此之外没有其他评论。这里不会虚构任何用户名或发言。