Anthropic 把用户的「日记」报告给警方,女子面临重罪指控

查看原文 HN 讨论

文章摘要

TechSpot 报道了佛罗里达州的一起案件:一名女子把 Anthropic 的聊天机器人 Claude 当日记本用,其中一条内容被 Anthropic 报告给警方,她因此被控重罪。

事件经过。 根据逮捕报告,来自佛州 Bonita Springs 的 Carli Michelle Heller 在 9 月 26 日写道,她要去「扫射」(shoot up)李县警长办公室。她事后说,自己是把 Claude 当成「日记」在用。Claude 的安全系统标记了这条内容,并升级给人工审核;审核员判断这是可信的威胁后,向执法部门报告。Anthropic 的政策写明,在有限的紧急情况下,如果公司认为披露信息是防止死亡或严重人身伤害所必需的,可能会分享用户信息。警员确认了她的身份并上门,她被平静地带走,此后由李县警长办公室(LCSO)的情报探员接手调查。(HN 评论里有人找到地方媒体引用的逮捕报告原话:9 月 26 日凌晨 5 点 10 分左右,她写道「我现在就要去扫射警长办公室」;次日凌晨 1 点 07 分又写「这是 100% 最后的机会,我受够了,我今天弄到了一把新枪」。)

罪名。 她被控违反佛州法规 836.10,罪名是书面暴力威胁。该条款规定,发送、张贴或传输书面或电子记录,威胁杀害或伤害他人、实施大规模枪击或恐怖行为,构成二级重罪,而且这种传输须以「可能被他人看到」的方式进行。这一要件后来成了 HN 上争论的焦点。

背景:AI 公司「报还是不报」的两难。 文章把此事放在一连串事件之中。上个月有报道称,加拿大不列颠哥伦比亚省起诉 OpenAI 和 Sam Altman,指该公司本可以阻止当地一起校园枪击案:18 岁的枪手 Jesse Van Rootselaar 此前因有关枪支暴力的对话被 OpenAI 安全团队标记过,但 OpenAI 认为这些对话没有达到移交执法部门的门槛,因此没有报警。今年 6 月,佛州也起诉了 OpenAI 和 Altman,指控 ChatGPT 促成了包括 2025 年佛州州立大学枪击案在内的现实伤害。文章还顺带提到,上个月有报道披露,为微软 Copilot 图像编辑器做审核的人工外包人员能看到用户的提示词、上传的照片和 AI 生成的修改结果,其中一些包含色情、令人不安甚至可能违法的内容,但这些审核员的职责只是评估输出是否准确,不负责举报。

结论。 作者的提醒很直接:在把东西输入聊天机器人之前要三思,那些内容可能给你带来麻烦,它「肯定不是一本只有你自己能看的私人日记」。从 Anthropic 的角度看,在出了 OpenAI 那样的事之后,它显然不打算在任何被判定为潜在威胁的事情上冒险。

HN 评论精华

本帖 836 分、670 多条评论(同一事件另有一个以地方新闻为来源的帖子,50 分、70 多条评论,规模小得多)。讨论主要集中在三点:AI 公司「报也挨骂、不报也挨骂」的处境;佛州这条法律是否真的适用于写给聊天机器人的「日记」;以及该不该把私密内容交给云端大模型。

「两头不是人」。 得票最高的 socializer 说他同情 Anthropic:OpenAI 不报告枪手被骂上头条,所以从 Anthropic 的角度看,报不报都要挨骂。但人们必须明白,自己不是在和「秘密好友」聊天,而是在和大型科技公司聊天。在大模型出现前,大公司没有办法检查服务里的大部分内容,你可以在 Google Docs 里写一本秘密的「仇恨日记」;现在一切都能以行星级规模被自动筛查,监管者和「热心公民」也会要求这么做,「再过几年,你在私聊里会越来越多地咬住舌头」。ollin 补充,OpenAI 不只是挨了坏新闻,而是真的在被不列颠哥伦比亚省起诉,起诉书指 OpenAI 以保护枪手隐私为由沉默,实际是不想确立「把现实暴力计划移交当局」的硬性规则,因为那与它宣称 ChatGPT 安全的公共立场冲突,还可能影响 IPO 估值。bonoboTP 也说,把情况反过来,如果有人真的扫射了警长办公室,事后发现他向聊天机器人宣告过,而 AI 公司没发现、没报告,那同样会是一场公关灾难。ramoz 反驳:照这个逻辑,运营商也该监控所有短信和网络流量。fasterik 说自从 2013 年斯诺登事件后,他就默认自己在电脑上打的每个字都存在某个政府数据库里;他愿意为与 Opus 5.5 能力相当、又有强隐私保障的服务每月多付约 20 美元。

法律上站得住吗? 这是技术讨论最集中的地方。MisterMunchkin 问:只是靠「监视」才读到的威胁,怎么能起诉?Aurornis 回答,AI 公司的用户协议写明可以审查被标记为有害的内容,所以法律上不算监视;警方并没有监视任何人,是第三方根据协议把信息交给了警方,更恰当的类比是有人读了别人的日记再交给警察,证据能否采纳是另一个问题。sandworm101 认为,法律禁止的不是写下威胁,而是把它发送出去:信寄出去了,没人拆开也是寄出了威胁;如果她把日记压在床底下就没事,但她把内容传给了一个网站,而且跨越了州界,他甚至惊讶她没被控联邦罪。apparent、Wowfunhappy、olalonde 则认为案子很弱:她写的是「要做什么」,不是对某人发出威胁;法律要求以「可能被他人看到」的方式传输,而写给聊天机器人显然是私人记录,「如果有人翻我的垃圾桶找到一张纸条,算不算我以可能被他人看到的方式传播?」quadhome 贴出法条全文,指出检方显然在认真对待「以任何方式」这几个字;dotancohen 追问:「大模型现在算『他人』了吗?」codingdave 认为这是最有意思的法律问题:一个原本不会把内容交给人看的服务,因为安全机制而转交人工审核,算不算「可能被他人看到」?毕竟没有绝对安全的存储,任何数字记录都「可能被他人看到」,这要交给法院来裁决。Guvante 一句话:把审计日志解读成「可能被他人看到」太离谱了。

报给谁也有讲究。 gwd 起初认为 Anthropic 做得对,后来补充:把报告交给她正生气的那个警长办公室可能不是好主意,如果交给 FBI,就不太会有人想去「宣示权威」。hypfer 和 jakzurr 都认为,这更像一次精神危机,更合适的处理也许是社工上门确认她是否认真,而不是公开她的姓名、直接控以重罪,前者让她更难康复。pixelready 提出一个制度设想:应当立法把这类与聊天机器人的交流视为受保护的特权通信,类似医疗隐私法 HIPAA 那样,或者提供一个「私密模式」开关。

本地模型与「思想罪」。 andrewla 建议几个朋友合买一两块 H200,跑去掉安全限制的开源模型,他认为言论自由的所有边界(欺诈、伪证、勒索、诽谤)都需要第二方存在,而写给自己的东西根本没有第二方;janalsncm 泼冷水说,一旦自建基础设施,你就成了一个小型数据中心,要维护、要融资、要安全,朋友半年后退出还可能闹上法庭。jjmarr 说自己用零数据保留(ZDR)的 API;ralphington 则认为 ZDR 基本是缺乏审计的空洞承诺。Anoian 和 mcast 担心的是另一种情况:很多人会为了测试模型反应编造各种极端故事,或开玩笑说自己有钚,人工审核员又如何分辨角色扮演和真实意图?Razengan、sandos 等多人用了「思想罪」「少数派报告」的说法。slopmachine 提到 7 月 NPR 的一则报道:两名青少年在 Waymo 车里谈论有枪,被车上的 AI 检测到后遭逮捕。

对 Anthropic 的情绪。 也有更激烈的声音,jameskilton 说 Anthropic 大规模盗用书籍、无视版权却没人追责,一个说错话的女人却因为「思想罪」人生被颠覆,「你们再也不能自称有道德的 AI 公司」;solenoid0937 回应说公司有义务报告,而且版权问题已经付了巨额和解金。1209-1266 质问「当初说大模型聊天是私密的人去哪了」,多位用户回应说从没见过有理智的人这么声称过。