我们将需要多得多的数学家
文章摘要
这篇文章发表在陶哲轩(Terence Tao)的博客上,但作者并不是陶哲轩,而是 UCLA 的密码学家 Amit Sahai,陶哲轩以客座文章的形式刊出。陶哲轩在开头加了一行编者按:本文原本以另一种文件格式写成,由 AI 转换格式。Sahai 在文末也说明,观点完全是他自己的,但 GPT 6 Astra 在起草过程中帮了很大的忙;他还感谢了自己的前学生 Dakshita Khurana、现任学生 Isaac Hair、同事陶哲轩以及家人 Anant Sahai 和 Gireeja Ranade 的反馈。这一点在 HN 上引发了不少误会,后文会提到。
那些跟不上的同学。 Sahai 从本科时代的回忆写起:他记得有好几个同学觉得,顶尖学生理解新数学概念的速度对他们来说太快了。他们也能理解那些想法,只是要花长得多的时间。最终几乎所有人都放弃了做数学研究的梦想,去做别的事。他说「过去几天」他一直在想这些同学。研究数学的圈子主要由两类人组成:很少有这种感觉的人,以及有过这种感觉、靠努力克服了的人。他们有幸在数学中找到了能取得进展的位置。但现在,所有人都要进入一个需要谦卑的时代,每个人都将体会到跟不上是什么滋味。
AI 已经在产生美妙的新想法。 他说自己合作过的 AI 系统已经能产出美妙的新想法,远不止做出漂亮的计算,或者快速完成强大的人类研究者本来就能理解的论证;未来的系统会产出什么,我们恐怕连想象都做不到。当我们觉得跟不上时,会不会像当年那些同学一样,把这当作离开研究数学的理由?如果机器比我们快这么多,也许我们该找点别的事做?
放弃理解是失职。 Sahai 认为,如果整个数学共同体放弃理解的工作,那是对人类责任的深刻背弃。每个人都有权选择不同的人生,他说的责任属于集体:建立一个人类能够理解、并为改变世界的发现作出贡献的未来,一个人类拥有有意义的能动性的未来。理解困难的概念需要挣扎,好在挣扎可以分担,他和学生、合作者一次又一次体会过这一点。他设想这样一个图景:许多研究小组,各自获得持续的资助,每个小组花一个学期或一年时间,在 AI 系统的帮助下去理解 AI 系统产生的一组非凡想法。他认为这很可能是未来几年最重要的数学工作之一,应当得到相应的支持和优先级;随着重大突破性想法不断积累,全世界需要大幅扩充具备数学素养的人类研究者。脚注中他补充说,这并不意味着将来只有 AI 产生的结果才值得关注;对于人类取得的重大成果,学界本来就有花很长时间研读的传统。
一太瓦核聚变电站的思想实验。 为什么社会应该在乎这件事?他说这听起来也许像数学家的乌托邦,一个专注于人类理解深度、遍地都是数学家和物理学家的文明,他当然乐意生活在那样的世界,也确实有深刻的哲学理由。但社会还有更直接的利害关系。设想未来某个 AI 系统提出了一种全新的一太瓦核聚变电站设计,找到了人类从未设想过的维持和控制聚变的方法,承诺提供充足、廉价、清洁的电力,机器人已经准备好制造部件、建设电站。一太瓦是极其庞大的电力。我们要决定是否建造一台用我们从未构想过、更未实践过的原理来处理巨大能量流的机器。我们需要理解故障如何被遏制,关机时系统中已储存的能量会怎样,如何确信电站材料会按预期表现,还应该问哪些问题。恰恰是让这个提案激动人心的新颖性,意味着我们无法从几十年运营类似电站或实验的经验中继承信心。在批准建设之前,他希望有人类共同体理解这个设计为什么可行、凭什么相信它安全。
定理只存在于模型之中。 他明确说,人类参与并不会自动改善技术决策,也没有理由坚持让人类手工重做 AI 可能做得更可靠的工作,包括证明数学保证。但定理只能存在于某个模型之中。理解一个保证,意味着理解模型、支撑模型的实验证据,以及我们对模型准确性的不确定程度。这是很费力的工作,必须有具备数学素养的人能投入其中。有人会说,这些问题也该交给 AI,最终由 AI 决定电站是否该建。他承认这是一个严肃的立场,但它要求我们接受这样一个未来:后果重大的决定建立在没有任何人类共同体理解的理由之上。他不希望我们仅仅因为没有投资于自身的理解能力而走到那一步。人类能动性是根本性的价值,我们必须保留认真考虑替代方案、决定自己想参与建设什么样的世界的能力。脚注里他还强调,相关的理解不能只属于提出这项技术的机构:设想一场公开听证会,只有公司自己的专家能跟上技术论证,那是不行的,独立的专业知识至关重要。
「可部署的智力预备队」。 为了承担这份责任,他认为可能需要拓宽对数学家贡献的理解。他设想一种「可部署的智力预备队」:由具备数学素养的人组成的共同体,人类可以随时调用他们,帮助理解由 AI 促成的重大突破。理解困难和陌生想法的能力,可能会成为数学家能为社会提供的最重要的贡献之一,数学家应当愿意把这种能力带到远超自己日常研究兴趣的问题上去,这要求我们扩展对自己职业使命的认识。他也预料到一种反驳:AI 会让每个人效率大增,所以即使发现加速,所需人数反而更少。他的回答是:每个人终究只是人,受生物学限制;深入理解需要时间和人能承受的生活节奏,单个人只能被要求做这么多,但通过真诚的合作,我们能做到更多。
文章结尾:如果 AI 兑现了它的承诺,我们将遇到比以往任何时候都更多美丽而重大的想法,我们必须建立繁荣的人类共同体来一起理解它们。「我们将需要多得多的数学家。」
HN 评论精华
帖子获得 408 分、近 500 条评论。讨论有一个显眼的插曲:大量评论者以为文章是陶哲轩写的,于是 etrautmann、robinhouston、senderista、pks016、AlexCoventry、prpl、zx8080、d2kx、xanderlewis 等人在各个楼层反复纠正「这是 Amit Sahai 的客座文章」。r_lee 和 novia 都说陶哲轩博客最近的文章好像多数不是他本人写的,novia 说自己每次点进来都是想看陶哲轩说什么,结果总是客座文章。prpl 对一位把作者认错的评论者挖苦道:「也许你只是变得没那么仔细了?」这句话恰好呼应了那位评论者自己的论点。
「认知投降」:我们会越来越不去检查。 被讨论最多的一条来自 pyridines。他说直到不久前,自己都会以极其严格的眼光审查 Claude 生成的每一行代码,几乎每次都能发现问题;最近发现的问题越来越少,也许模型变好了,也许是他在越来越频繁交付的压力下变得不够仔细了。早在三月,让它写个「两数相加」的函数,就可以百分之百确信正确,几乎没必要看代码;此后,「简单到模型不可能出错」这一类问题的复杂度下限一直在上升,他对模型的「认知投降」也在增加:何必检查呢,肯定是对的。他由此反问文中的例子:如果 AI 设计了一座太瓦级聚变电站,我们当然会一丝不苟地审查;如果毫无瑕疵,第二座还会那么仔细吗?第三座呢?第一万座呢?他认为作者主张人类参与研究至关重要,却没有令人信服地说明理由:「人类能动性是根本价值」是价值陈述,不是论证;残酷的现实是,如果 AI 真的超越人类,不去验证、不去复查、直接照做会成为经济上的占优策略。
这条评论下的回复很分散。LoganDark 说 AI 越是每次都能写出可用代码,千分之一或百万分之一的错误就越可能在生成时被漏掉。utopiah 说研究表明普通人在这种情况下确实会变得不够仔细。jiggawatts 用编译器作类比:他以前经常盯着 C++ 编译器生成的汇编,因为它会漏掉关键优化,现在几十年不看了,编译器优化得比他好,自作聪明反而会让性能变差,他开始在 AI 身上注意到同样的事。Wazzymandias 反驳说,随着复杂度提高,AI 的「正确」会是那种极其具体、极其字面、暗藏危险的正确:代码量是必要的 10 到 50 倍,几十上百个毫无用处、只制造质量假象的测试,还会让看似无关、原本好好的功能被改坏。mattmanser 说「两数相加」在很多语言里远没那么简单,浮点数、十进制、舍入规则,加法恰恰是 AI 仍会搞砸的事。samspot 想起船长过度依赖自动驾驶导致事故的研究:需要给人留一些手动任务,才能避免回路中的人彻底脱离状态。baq 和 breuleux 则从物理角度泼了冷水:真正的问题不是第一座会坏,而是第一百座、第一千座都完美运转,一万座太瓦电站的发热量约等于地球太阳输入的 5%,我们会把自己烤熟。
数学与编程不一样。 askjdfksdbfhk 对 pyridines 的回应得到不少认同:写代码是达成目的的手段,而数学研究本身就是目的。人类参与之所以关键,是因为数学研究的全部意义就在于增进人类对数学的理解,人们追求它是因为它有趣,而不是因为它在经济上有用,在这个意义上它更接近人文学科。一个只会告诉你命题真假的黑箱神谕不是数学的目标,除非它能用来增进人类理解。制药、材料科学等领域以解决实际问题为导向,纯数学大多不是这样。xanderlewis 附和说:「又一天,又一个满是程序员、以为数学就跟编程一样的 HN 帖子。感谢你做出急需的纠正。」
「过程就是结果」之争。 metalspot 说人们不理解过程本身就是结果:学数学、计算机科学和信息论是为了改造自己的头脑,不是为了生产商品;没有人类头脑去理解,LLM 的输出毫无用处。这引来大量反驳。echelon 说当然是为了满足需求才学;gjskngnf 说他不懂 mRNA 疫苗,但疫苗对他有用;charcircuit 说这就好比说用户不读源码软件就没用;levocardia 说作为纳税人,他资助数学和计算机研究是因为它产出商品,想改造头脑去冥想好了,别指望科研经费;eli_gottlieb 的说法比较冷静:规范意义上应该如此,描述意义上显然不是,整个社会都是围绕生产商品组织起来的。Invictus0 的措辞最尖刻,说「改造头脑」是自我满足,和拿十个学位却从不工作没什么两样。xanderlewis 则坚持纯数学家和其他学者一样,对「生产商品」并无兴趣,数学之所以有用,是因为深入理解现实的基本原理本身就很有用。
人类是否已接近天花板。 atleastoptimal 说多些数学家固然好,但不需要;一旦 AI 数学远超人类,人类参与就像蚂蚁试图理解量子物理。rvz 反驳说,正因为总有更难的问题,才需要人类专家来定义和验证,你连问题都解释不清,就无法判断 AI 是否解对了。dgacmu 说我们当了一百万年的蚂蚁,最近一百年才开始理解量子物理,别急着把人类写出剧本。Animats 认为文章真正的意思是需要聪明得多的数学家,而人脑已接近上限;他预计最先碰壁的会是芯片设计,AI 设计的 Verilog 可能超出人类理解。xanderlewis 回应说,数学的全部意义就在于通过逐步建立理解框架远远超越天生的上限。ceh123 补充说,一百年前人类的天花板如今是高年级本科教材。kens 还顺手纠正了 Animats 的说法:根据 Pentium Pro 首席架构师 Bob Colwell 的《The Pentium Chronicles》,这个项目只有 450 多人,其中约 400 名设计和验证工程师,并不是 5000 人。xanderlewis 和 Animats 后来还讨论了「不可压缩的证明」:四色定理那种只能靠海量情形逐一检验的证明,与费马大定理那种虽然前置知识繁重、但仍是概念性的证明有本质区别;xanderlewis 认为,数学中深刻的命题往往看似不可压缩,却通过换一个视角被优雅地证明,所以什么有趣、什么平凡本身是主观的,数学因而是无法摆脱的人类事业。
放弃理解是不是早就发生了。 brap 认为「放弃理解」不可避免,以为我们能理解一切是一种傲慢,许多软件开发者早就放弃理解自己系统的某些部分了。CJefferson 以自己的 SAT 求解研究为例:四色定理的证明有一大块是计算机完成的,没人完全「理解」它,我们只是在改变能放进「由计算机检查」盒子里的东西。avianlyric 说这并不新鲜:至今也没有一个完整模型能解释机翼为什么能产生升力,人类在有计算机做气动分析之前几十年就建起了整个商用航空体系,我们一直在从并不完全理解的系统中获取价值,但这从没阻止我们继续努力去理解。
另一些声音。 calf 说这是他今年读到的关于这个话题最美的一封信,让他落泪,像那些著名的历史科学书信;srcreigh 甚至说这可能是关于 AI 写得最好的文章。goy 的视角很现实:问题不在于 AI 会不会做我们能做的数学,就算 AI 写得更好的代码、更好的证明,他仍想自己做;真正让刚进入就业市场的这一代担心的是生计,「谁来付我钱,为了什么?」他不希望答案是去审阅一大团只有 1% 有意义见解、90% 是垃圾的东西。ponector 也问:你愿意为「多得多的数学家」付钱吗?还是像其他职业一样,所谓短缺只是缺廉价劳动力?altairprime 则说自己因为早年 ADHD 没能拿到学位,如今国家经济又一团糟,当不起 Sahai 设想中那种「有资质的预备队员」。fps-hero 的预测与文章相反:最重要的决定会由 AI 来做,因为 AI 公正、不变、可以被反复追问,人类只在品味层面引导;V__ 和 wavemode 立刻反驳,LLM 根本谈不上公正不变,而且它们会乐于执行和延续官僚规则。