开源 AI 与开放模型阅读清单
文章摘要
Nathan Lambert(Interconnects 作者、Allen AI 研究员)在准备面向公众和政策界的写作时,把自己的研究资料整理成了一份开放模型阅读清单。他的说法是:如果有人想快速进入这个领域,读完这份清单就能对现状有一个全面了解。清单按三个板块组织,读者可以在评论区补充,他会持续更新。
第一部分「基础」 回答的是:开放模型是什么、人们为什么发布它们、它与商业战略的关系,以及风险何在。这里收录了 Bill Gurley 关于开源软件如何被企业利用、以及这对 AI 意味着什么的分析;扎克伯格在 Llama 3 发布时阐述 Meta 为何开放模型的那篇文章;Irene Solaiman 关于「开放程度是一条光谱而非开/闭二元」的论文——许可证、运行成本、数据可得性都是维度;以及 Christian Catalini 从知识产权史出发讨论开放模型如何捕获价值的经济学论文。作者本人的几篇观点文也在其中:开放模型会作为强闭源模型的补充,被企业用来搭建定制化 agent 工作流;开放模型会长期处于「追赶」状态;开放与闭源模型的采用曲线处在不同的指数轨道上。安全议题方面收录了 Thinking Machines Lab 的《A Safe Path to Open Weights》、Kapoor 与 Bommasani 等人关于开放基础模型社会影响的早期论文(结论是文本类 LLM 对已记录风险的边际提升很小),以及 Florian Brand 那篇《开源 AI 不安全的神话》——论点是闭源模型的安全护栏本来就常被绕过,现实风险早已发生,而开放权重模型的风险仍停留在假设层面。此外还有 Shayne Longpre 等人关于 AI 数据公地快速萎缩的研究。
第二部分「中美竞争」 是分量最重的一块。它包括作者自己发起的 ATOM Project(主张美国需要为基础研发投资开放模型)、他与 Kevin Xu 合写的《禁止开源 AI 将是一个错误》、以及一篇警示性的《开放模型还有 6 个月可活》——认为模糊的联邦监管机制正把局面推向与前沿开放模型的正面冲突。Kevin Xu 的两篇文章从历史和结构角度解释中国开源生态的由来和优势。作者还收录了自己走访中国实验室后的笔记,以及分析中国实验室为何能持续跟上前沿的文章。这一节还罗列了大量现实政治材料:美国议员就使用中国模型问题质询过 DoorDash、Airbnb、Anysphere/Cursor、Apple、Harvey 等公司;同时也有西方公司公开转向中国开放模型以节省成本的案例。
第三部分「技术细节」 聚焦三个问题:蒸馏到底是什么、对中国实验室帮助多大;开放模型如何影响网络安全等前沿风险;开放模型究竟落后闭源多少。作者给出的判断是开闭差距已收窄到大约 4 到 6 个月,且自 2024 年以来领先的开放模型全部来自中国实验室;开放模型处在成本的帕累托前沿,虽未达到绝对性能前沿。网络安全部分收录了 Joshua Saxe 关于「无法有效禁止坏人使用开放模型做网络攻击」和「美国急需一套连贯的国家 AI 网络安全政策」的两篇文章,以及 Helen Toner 的《不扩散是应对 AI 滥用的错误思路》。
蒸馏被作者称为「2026 年围绕开放模型最具事件性的争论」。他收录了自己驳斥「蒸馏恐慌」的文章(认为「中国模型接近前沿唯一原因是蒸馏」的政治恐慌缺乏证据支持),也收录了立场相反的材料:Anthropic 2026 年 9 月的滥用检测报告详细记录了被禁方对其产品的大规模使用;以及 Panfilov、Schmotz、Shumailov 等人 2026 年那篇证明可以通过巧妙手法从专有 LLM API 中系统性提取推理轨迹的论文——Anthropic 已确认该技术被中国实验室使用过。作者在最后的补充里做了一次相当坦率的自我修正:2025 年 4 月他曾自信地写过 DeepSeek 没有蒸馏 o1,现在基于上述推理轨迹提取方法,他认为「DeepSeek 蒸馏了部分 o1 轨迹以降低训练 R1 的难度」这件事比他当初给的可能性要大——这不抹杀其创新性,但值得务实看待。
HN 评论精华
这条帖子(159 分、31 条评论)的讨论几乎完全没有停留在清单内容上,而是分裂成两场争吵。
主线是「开源」这个词的正当性。 petcat 的顶楼评论定下了基调:根本不存在有用的开源 AI 模型,开放权重不等于开源;「开放权重」模型仍然是你(理论上)能在自己机器上跑的、不可解读的二进制块,只是不必走 SaaS 而已;这些实验室甚至连训练数据的高层目录或任何描述都不提供。「这不是开源,我们应该停止把两者混为一谈。」
这条评论引出了长串讨论。foopod 完全同意,认为开放权重模型「不应该比专有免费软件享有更好的待遇」——你可以跑基准测试,但仅此而已,没有审计,无法检查偏见或版权污染,只是一个你依赖它提供「智能」的黑箱;他表示很震惊人们愿意把大量数据和各种规模的决策交给这些公司。scoopr 说得更刻薄:这些模型是免费软件(freeware),有些许可证限制之多,堪称共享软件(shareware)。alansaber 补充了「真正开源」应该包含什么:爬虫、数据清洗、全部预训练和后训练脚本、精确硬件信息。
反驳方也有力。kennywinker 指出「不可解读的二进制块」这个说法站不住脚:你可以基于开放权重做微调和后训练、创造衍生作品,而真正的二进制块做不到这一点。azath92 给出了最平衡的一条:确实没有训练数据和训练代码就无法从零复现模型,但权重和结构可以自由下载、修改、检视并衍生,称之为黑箱有误导性;他类比说这就像今天学术论文里的「方法论章节」——往往远达不到逐步可复现的程度,但原则上足以让同行专家重做实验;不过他也同意,哪怕不公开确切数据,给出一份数据目录和清洗处理说明也会大大改善可复现性。markasoftware 提到 Nemotron 似乎挺开放,nessex 用亲身经历泼了冷水:很多 Nemotron 数据集需要接受协议并申请审批,他申请多个数据集后被搁置数月,最终除一个外全部被拒,且没有任何理由说明。
vlyan 用一句话点破了大家心照不宣的原因: 训练数据不公开是因为里面全是受版权保护的作品,「训练数据是什么」的答案就是「所有我们能弄到手的东西」。fc417fc802 说得更直白,文本部分基本可以假定就是整个 Anna’s Archive。
另一条支线是 Onavo 引发的激烈争吵。 他开场就说这份清单「基本没用」,技术前沿内容极少,主要是政策层面的空话。接着他用相当火爆的语气把数据这件事说穿:你就是尽可能地爬——Anna’s Archive、The Pile、各种 HuggingFace 数据集、Common Crawl;你花钱雇 Bright Data 这类代理农场跑住宅和移动灰色代理、VPN 和 CloudFlare 绕过来爬更多;然后由数据清洗团队去重、清洗、标注。他最激烈的一段是指责 HN 社区的双标:「我看到一堆 HN 用户在首页帖子里对 LG 电视内置 VPN SDK 义愤填膺,五分钟后又回去用前沿 LLM 挣工资。最高等级的伪君子。」他还说数据集不公开的原因很简单——它们就是互联网的一份快照,美国不是那几个数据爬取在法律上基本不追究的「避风港」国家,「在一个湾区网站上别再问为什么数据不公开了,用用脑子」。
回击来得很快。erikkri 说「看来你对什么是好清单很有想法,那不如自己发一份」。Onavo 回了一长段技术官僚立场的论述(把 AI 换成疫苗就能看清监管俘获和一刀切禁令的问题;围绕就业冲击、偏见等效果制定政策,技术本身则完全放任),并提到高性能计算和数值方法这些「与机器学习日常研究零相关却决定实现成败」的基础功课——但始终没给出替代书单。HSO 直接说「别废话了,把替代清单给出来」;Leptonmaniac 更是一针见血:「你的帖子似乎在给出技术阅读建议之前就被截断了。没有它,你听起来很像那种叫人『自己去做研究』的骗子。」
此外 brcmthrowaway 问了一个偏题但实用的问题:想学 LLM 内部原理,Sebastian Raschka 的内容在 2026 年还是最好的吗?azath92 回答说仍然很有价值,尤其是用来理解参数规模、MoE 和 PLE 等变体如何影响本地模型在不同硬件上的表现;对写过 PyTorch 的人来说,他的文章技术深度恰到好处。