关掉大脑这件事，永远不会有行得通的那一天
文章摘要
Dan Luu 的一篇短文。正文只有寥寥四段，但照他的一贯风格，脚注的篇幅是正文的十几倍，真正的论证大多藏在脚注里。HN 上有人感叹这是”见过最短的 Dan Luu 文章”，也有人一句话点评：”这家伙真会写脚注。”
正文的论证非常简洁。 2025 年初，作者开始看到人们在用 LLM 时”关掉大脑”：让 LLM 执行某个动作（总结文本、写代码等），然后直接假设它成功了。这在 2025 年初通常行不通，结果往往相当滑稽。随着 LLM 变强，这种做法越来越多：有人让 LLM 写代码然后基本默认它能跑；有时人在环路里，东西不工作就让 LLM 自己找问题、自己修。Niklas Gruhn 把其中一些变体称为”肉身代理”（meat proxy）——人只是在 LLM 和外界之间转发信息，本质上充当一个 for 循环或 while 循环。
作者承认，到 2026 年 9 月，当”肉身代理”的效果比 2025 年初好多了，他试过的这样开发出来的软件有时”真的勉强能用”——还没好到他想用或者能成功的程度，但他对这种方式的有效性印象深刻。可以想象 LLM 进步到”关脑肉身代理式开发”在可预见的未来就能产出平均质量的软件，甚至不需要人在环路里就能产出优秀的软件。
然后是关键一击： 假设这真的实现了，公司还有什么理由雇佣那个肉身代理？公司完全可以直接让 LLM 在循环里跑，把员工裁掉。”对员工来说，这种方法论不存在任何一个行得通的时间点。”
脚注一：Luke Burton 的评论与分布外问题。 Luke Burton 认为能这样做本身就说明了工作的性质——只有当任务价值很低、失败也无所谓时，他才会撒手不管。对于高价值任务，LLM 一次搞定的概率低得多，他必须同时扮演 QA、工程经理和架构师，那个 while 循环常常像赶工期一样，总有种挥之不去的疑虑，担心自己漏了什么、一个没写清楚的 prompt 会导致需要推翻的架构决策。他还观察到，高吞吐反而让他提高了自己的交付标准：以前可能先发 MVP 再迭代，现在他让 Agent 去打磨和探索远超平时范围的边界情况——而除非明确要求，Agent 从来不会主动去做。他向那些觉得 Agent 轻松搞定一切的肉身代理们提出两个尖锐的问题：”你是不是本来就已经有点在混日子了？你为什么不把 Agent 推向远超它们轻松能处理的任务？”他举例说，他们团队在做一件看上去极其适合”撒手自动化”的事——把某个项目迁移到 Bazel 构建——即使用了 Agent 也花了好几个月，因为这个任务里埋着大量无形的、难以写清楚的需求，让 Agent 在那条线上走需要持续监督。”遇到一段代码不清楚为什么这样写，但知道原因会实质性地改变你该采取的行动——你要怎么靠肉身代理混过去？”反过来，你和利益相关方评审时对方说”哦那部分？根本不需要了，我们早就不用了”——那么基于”这部分必须保留”这个错误假设又做出了多少决策？
Dan Luu 接着补充：当 Agent 遇到分布外（out of distribution）的问题时，需要人做决策这一点更加明显。一个小例子是他们比较过 Agent 使用不同编程语言的能力，Agent 在冷门语言上差得多。更极端的例子是桌游：对于 Lost Cities 或 Dominion 这样的现代桌游，一个 SOTA 模型加 harness 的表现，比一个擅长桌游但从没玩过这款游戏的普通人还差。你问 Agent 关于游戏的问题，它知道很多，说出来的话在不懂游戏的人听来头头是道，但懂的人一眼就能看出是错的。他最近和一位新手玩 Dominion，对方以为用 ChatGPT 帮忙理解游戏会有帮助，他很怀疑，事后看 ChatGPT 的建议大概一半对一半错，而错的那一半把对方引向了比”用通用游戏启发式的普通好玩家”更差的方向。他估计一个从没玩过的人花五个小时阅读公开资料就能轻松进入前 1%，而 Agent 明明能搜索、能调 API，却做不到——这显示了今天人与 Agent 在面对分布外问题时的差距。”也许下一个大模型发布就会扭转这一点，但今天差距仍然相当大。”
脚注二：那些”编程已被解决”的宣言。 作者举了几个例子说明当人们默认一切都能工作时会出什么问题：Agent 有时严重过拟合测试、严重过拟合指标。他试用过那些”把思考外包给 LLM”的人做的软件，都有严重问题。一个有点滑稽的例子：某位编程意见领袖在 Twitter 上宣称编程已被解决，因为他在各种领域尝试了项目，Claude 都能像专家一样解决。作者真去看了他的 GitHub，他看过的所有例子要么不能用，要么用起来很糟。其中一个是 AlphaZero 风格的桌游 AI，作者恰好在给自己的桌游 AI 找陪练时碰到它，结果它比”让 LLM 写一个简单的 minimax 启发式 bot 再让 LLM 循环调一会儿评分函数”还弱——而对这款游戏来说，一个平庸的 AlphaZero 风格 bot 本该把 minimax 碾压。另一个例子是某个真实商业产品：按照标准流程操作会陷入一个死循环，技术上可以逃出来（大多数程序员也许能想出办法），但这款面向非程序员的软件的普通用户多半逃不出来，也就根本用不上主要功能。
作者也坦承，他自己也做了大量”我自己能用”级别的软件——如果作为真正的产品，他会评价为”基本不能用”，比如让 Agent 写的正则引擎用来加速本机 ripgrep 搜索、让 Agent 写的 Rust 解释器用来加速某些项目的 Agent 迭代循环。他也觉得让 Agent 循环做数据分析很有价值，即便它会产出完全错误的结果再由他指挥修正。但为自己做”拿错姿势就不工作”的窄用例软件、或产出明知错误的结果再修正，与”写了一堆不能用的软件后宣布编程已被解决”、或把这种质量的东西放进商业产品，是两回事。
他引用了两位朋友的话作为佐证。Thomas Dullien（Halvarflake）读完草稿说：”好文！发吧，每次我说’LLM 解决不了所有编程问题’，人们都看着我像看疯子，我也这么看他们。”Gary Bernhardt 恰好发推：”把真实的 Agent 产出和我在这里看到人们对它们的评价对比起来，实在太超现实了。在日常修改中，我的 review 经常把 diff 砍到原来的 25%。大量无用的测试、偏执、颠倒的逻辑。然后我打开 Twitter 看到’编码已被解决’。”他随后又补了一个例子：他让 Agent 修 DATABASE_URL 的管理，它在 NPM 脚本里直接加了 if、在 CI 里加了一个条件执行内联 JS 脚本的 node 调用，diff 里大约 20 个 hunk；他纠正之后的正确改法是”+0 行，+1 个词”。作者说他曾经怀疑那些对 LLM 生产力说法最夸张的人是否真的获得了他身边没人获得的价值，但随着证据增加，他越来越确定”只是人们在自欺欺人”。桌游例子的好处在于结果可以客观测量；商业软件同理，你可以去看转化率、流失率、用户满意度。
他还举了一个 fact check 的例子：有人给他发来一份 ChatGPT 事实核查，附带居高临下的评论指出他的错误，而他早就用 ChatGPT 核查过并修正了真正的错误，剩下的只是 ChatGPT 自己的错误。他的总体经验是这类核查的精确率很差、召回率平平，但如果你动一下脑子，它仍然值得用，因为筛掉一堆误报仍比请另一个人读草稿便宜得多。最后他提到 tptacek 近来的观点：别让 LLM 的吹捧让你以为自己的工作很好；用 LLM 对自己作品或论证的”吹捧文”来证明其优秀，”主要是关掉大脑的标志，也是作品或论证质量差的相当强的信号”。
脚注三：反驳几种”那就摆烂吧”的论证。 有人会说”反正我们都要被淘汰了，何必努力”。作者认为这个论证是反的：如果你财务上已经能退休，随时都可以关掉大脑；如果你还不能退休，你应该做能让你赚更多钱的事，而那多半不涉及关掉大脑。在不会被淘汰的未来里，没必要急着赚钱；而如果你认为淘汰很快会来且你需要钱，那么现在恰恰是拼命赚钱、做与关脑相反之事的时候。至于”努力工作或做正确的事又没有额外报酬”，他说自己和朋友都因为主动发现并解决问题而获得过加薪和奖金，除非你在一个完全不奖励好工作的失调组织，那就离开。
还有一种论证是”由于惯性，在 LLM 足够好到替代程序员之后，会有一个你能靠当肉身代理混日子的窗口期”。作者认为这也恰恰相反：以公司现在对裁员的热情，如果你的目标是尽量少干活，最好的时机其实是过去。他讲了两个故事：他曾经团队里有人决定退休后干脆不来上班，想多领几个月工资，结果公司花了大约六个月才把他解雇（疫情前、非远程公司）；朋友公司里有人这样做，花了两年才被解雇，经理说如果那人愿意偶尔来假装干点活，就会重新计时，要更久才能解雇他。作者说不知道公司为什么曾经处于这种状态，但公司似乎正以 AI 为借口摆脱这种状态，这让现在和不久的将来成为很长时间以来”不出力、不创造价值还想保住工作”最糟糕的时期。
HN 评论精华
156 条评论。讨论大致分为几条线：肉身代理是否其实有”背锅”价值、管理层自上而下强推 AI、一场围绕”摄影师与游客”类比的长篇争论，以及”什么时候该动脑”的方法论。
“肉身代理”的真正价值可能是背锅。 这是评论区反响最强烈的一个角度。01284a7e 提出，公司雇肉身代理的理由也许是某种形式的责任与问责——”新概念：AI 替罪羊”。多人随即给出了已有的学术名词：OrderlyTiamat 和 fwlr 引用了 Madeleine Elish 的论文《道德碰撞缓冲区》（Moral Crumple Zones），perrygeo 称之为”问责黑洞”（accountability sink），并说”这早就存在，但 AI 让它糟糕得多”。science4sail 的说法是人类员工可以作为”合规烧蚀护甲”，职责是盯着 LLM、偶尔干预，以及最重要的——为 LLM 犯的任何错误承担社会和法律责任，”有点像自动驾驶汽车上的安全员”。kg 反问：当烧蚀护甲是令人振奋、有成就感的工作吗？你个人的能力和努力能影响 AI 会不会搞砸吗？”听起来很悲惨。”
awsglkhj 写了一个精彩的寓言：自己动手，你得到所有好处但费时、未必专业，出了错全归你；去公园找个愿意免费干的人，他可能干得很好，但因为没合同，锅还是你的；雇个专业人士，好处少一点，但他更可能干得好，法律体系也能追究他；而如果你雇了专业人士，却坚持让他用公园里的一大群人来干实际的活，因为每单位工作更快更便宜，还告诉他不愿意就换人，再告诉他反正他现在空闲多了，可以去监督更多群人干的更多活——”到这一步应该很清楚，我感兴趣的不是高质量的工作，而是有一个准备好吸收责任的人。我要的是一个替罪羊。现在把’公园里的人’换成 LLM，把’免费’换成’几乎免费，但没有保修’。”saltcured 说这最接近他自己的不适感：他整个职业生涯几乎都是个人贡献者，”真正让我反感的是当替罪羊。我不会为不在我控制之下的东西盖章担责……当新计划是通过委派给这些生成器来提高吞吐量时，我不可能按我的标准去审查，所以我拒绝把其中任何东西当作我的工作。”
管理层自上而下的强推。 Arainach 说问题在于这是从上面压下来的：每当他说 AI 不是某件事的正确工具，管理层就生气；老板在团队会议上直接让他别再质疑 AI 自动化是否正确，”那我就闭嘴，给他们想要的”。CaptainTaboo 回复说他们公司也这样，这正是他下周提交辞呈的原因；drchickensalad 说自己刚交了。localhoster 讲了一个让人哭笑不得的故事：他的组长坐在旁边，不断检查他是否在用 Claude，聊天时也一直推他用 Claude，以至于他想手写代码时得专门去订一间会议室，”因为我怕我的 Claude 使用量会反映在绩效考核里”。switchbak 的反应是：”这太疯狂了。”bunderbunder 分析得很透：高管们买进的 AI 推销话术是”自动化能帮你减员”，所以他们根本不在乎当下直接干活是不是更快更好，他们在乎的是实际工作仍由人类完成，这不符合他们去掉人类的宏大愿景。scrimblo_blimbo 更直接：”他们生气是因为他们想让你亲手造出你的替代品。”intended 借用了那句关于市场的名言：”企业保持非理性的时间，可以比你与之抗衡的时间更长。”
“关掉大脑其实是理性的”之争。 gjsman-1000 反向推演：如果作者说的是真的，那关掉大脑恰恰完全理性——反正结局都一样，何必烧脑？在代码如此易弃的世界里，花力气记住一个三年后就面目全非的代码库也很蠢。有人问他为什么假设全身心投入的员工也会被裁，他反问：”你是想告诉我过去四年被裁的 73 万人里没有一个是全身心投入的员工？”eloisant 接着往下推：如果这成立，客户又凭什么继续付钱给公司？他们会跳过中间商自己跑 LLM。georgemcbay 把这条链推到了尽头：公司很高兴，省钱了！然后发现 LLM 替代了几乎所有员工之后，替代整个公司这件更容易的事就开始了，因为公司本身已经成了一个更薄的肉身代理；客户很高兴，省钱了！然后发现他们自己赚钱的方式也受到同样冲击。”所有护城河一起退化，只是彻底失守的速度略有不同。”
general_reveal 引用了耶鲁的数据：Brynjolfsson 发现 22 到 25 岁开发者的就业自 2022 年底峰值以来下降了近 20%，Indeed 上的软件开发职位发布下降了 53%，”他们还没有大规模解雇肉身代理，但他们绝对已经停止雇佣肉身代理了”。rconti 提醒混杂变量太多：零利率政策在 2022 年结束，利率在一年多里上涨了 5 个百分点，公司又把钱砸向 AI 项目，”不幸的是这恰好和生成式 AI 的兴起完美重合，我们可能永远无法分清这段时期的因果”。当 general_reveal 说”3 到 5 年内谁都不该计划当软件工程师”时，balefulboy 提起了 Geoffrey Hinton 当年那句”现在就该停止培养放射科医生”。
摄影师与游客：一场漫长的类比之争。 dzink 提出一个类比：老派摄影师站在山头为一张完美的日落照片测光、算角度，旁边的游客拿着 iPhone 转一圈拍了几千张。”AI 就是这样，它给你同一个问题很多次机会……先生成再筛选，可能比想太多只试一次更好。”这个类比引来大量反驳。ssfdg 认为这是对创造力令人沮丧的简化：两位摄影师都得亲自去那个地方、看到值得拍的风景、操作器材、并有足够的辨别力认出哪张有价值；”如果非要把 AI 塞进这个类比，那就是根本没人去爬山了”。probably_wrong 说如果真是这样，摄影比赛早就被无意中拍出杰作的游客颠覆了。ninjascribble 指出早在 19 世纪末就有”包围曝光”这种技巧，深思熟虑的人更可能赢。Arodex 讲了一个瑞士天文台精度计时竞赛的故事：后期冠军总是二流品牌天梭，背后是 ETA 从每年数以百万计的平庸机芯里挑出偶然组合得最精准的那一块；”天梭确实屡次获胜，但比赛死了，天梭依然是二流品牌，没有收藏家、历史学家或顾客对它的机芯感兴趣”。btrettel 的反驳最贴题：Dan Luu 抱怨的那些轻信 LLM 的用户根本不是拍几千张同一个日落，”他们最多拍一两张，说一句 LGTM，就去拍下一个东西了”。
什么时候该动脑。 Arubis 的观点很有启发：”最该动脑的时刻不在循环里，而在 prompt 之前。一旦你开始和 LLM、Agent 互动，你就开始有偏见，它那些合理的建议会限制你看到其他选项、其他世界的视野。先动脑，再写 prompt。”xendo 反驳说他相信”编程即理论构建”，软件创造本身才让你理解你在构建什么，不可能先理解再动手。Arubis 回应得更细致：如果你在循环里，就好好利用循环，它会给你一个平庸的结果，如果平庸就够了那就完事；如果不够，”就停下循环”，自己玩玩看已有的东西、探索边界、在纸上画出它怎么工作以及你想让它怎么工作，然后写一个很长的 prompt 再回到循环。”循环既有用又是思维杀手，动脑也同样高价值，两件事都做，但别同时做。”bunderbunder 分享了类似体验：主流 Agent harness 非常努力地诱导你往后一靠、不让你对正在构建的东西形成真正理解，他以前和外包开发者合作时也遇到过同样问题；所以他正在从 plan mode 退回到小步迭代、亲手敲重要代码，只把样板代码和琐碎函数交出去。
另外几条值得一提的观点。 kixiQu 说即使在 LLM 之前，也有很多同事在排查复杂的跨系统行为时希望能关掉大脑，不喜欢听到这无法被压缩成一份 runbook——”如果在回车键上放一只饮水鸟就能搞定，那我也不需要你了”。jadar 坦白了这种矛盾让他焦虑甚至抑郁：一方面生产力高了很多，另一方面这反而更需要大脑去判断哪些是好产出、哪些是垃圾，而那并不是他喜欢用的那部分大脑——他喜欢深入理解一件事；而出问题时他只能回去问 LLM 为什么坏了，能跟上推理，却记不住，”就像背下一段文字和手边随时有本参考书的区别，我们以前在信息上有过这个问题，现在它来找我们的推理了”。petesergeant 则说两种状态可以并存：让 Agent 在树莓派上录下社区里的警报声这类事完全不需要动脑，代码烂不烂无所谓；但他赖以为生的软件，现在几乎整天都在做艰难的决策，”我的大脑回到了 CTO 模式……我在做与关掉大脑相反的事，因为我再也不能放松下来无脑写代码了”。gwbas1c 的观察很冷静：”人们对 AI 遇到的问题，和 20 年前我们把开发外包到低成本国家遇到的问题没有区别，结果和挑战都一样，只是反馈循环从隔夜变成了几分钟。”throe844949 提出了一个反向视角：开发者其实很喜欢在高强度调试时进入心流状态，那种体验像毒品一样令人愉悦，而审计和审查自动生成的提交是艰苦的脑力劳动，”你甚至都不算作者，也没法进入状态过把瘾”。最后，hosamsh 用一句话总结了很多人的担忧：”我觉得 AI 最大的威胁，是让我们失去纠正它所需要的直觉和判断力。”