← #793

算法招聘里的 AI 自我偏好：实证证据与启示

查看原文 HN 讨论

文章摘要

这篇 arXiv 论文研究了一个在 LLM 时代正在迅速变成现实问题的现象：当 LLM 既被求职者用来生成简历、又被招聘方用来筛选简历时，它会不会偏爱”自己写的”东西？ 答案是：会，而且偏得很明显。

研究者做了三层实验。第一层是大规模受控简历对照实验：让多家主流 LLM 分别生成简历，再让它们互相评估；同时把同样的简历内容由人类撰写一份对照。第二层是24 个职业的端到端招聘流程模拟——从简历生成到 shortlist 入选都跑一遍。第三层是干预实验：尝试通过让模型显式识别”这是不是我自己写的”来减弱偏好。

主要结论是惊人的：

• LLM 系统性偏好自己生成的简历。在多个主流模型上，”被自己评估时入选率”比同等质量的人类简历高 67%–82%。
• 跨模型也有自我家族偏好：用 GPT 系列写的简历交给 Claude 评估时优势会缩小，但用同一个模型写的简历对该模型评估端的优势是 23%–60% 入选率提升。
• 行业差异：在 sales、accounting 等”商业领域”职位中，使用人类原稿的简历劣势最大，因为这些领域 LLM 的”corpo-speak”格式最贴合训练分布。
• 干预可行：一些简单的去偏措施（提醒模型注意 stylistic similarity 等）能把偏好幅度削减一半以上。

研究者强调，这暴露了当前 AI 招聘公平性框架的一个空白——目前的公平性研究主要关注种族/性别等 demographic disparities，没有覆盖”AI 之间互相互动产生的偏见”。当一边是 ATS 系统接入 LLM 筛选、另一边是求职者用 LLM 改简历时，这种自我偏好会被双方系统性放大。

HN 评论精华

1. johndhi：用最简洁的方式提出反向解读——”换个说法是不是就成了’LLM 写的简历更好’？” 一句话点穿”自我偏好”和”实质质量更高”在数据上其实很难分开。

2. logicalfails：给出了一个非常具体的机制猜测。”我把简历过 LLM 时它会自动’消毒’我的语言：扩展词汇、加大密度、塞进更多 corp-speak 的项目符号。每个模型都有自己心里的’正确企业文体’，所以它在评估端选中的，其实是’最符合自己写作偏好的格式’，而不是’我自己写的就一定好’。” 这把”自我偏好”重新定义为”风格一致性偏好”。

3. benashford：反过来支持论文的解读。”凭直觉就是这样：模型生成的内容由它的训练塑造，所以它再读到时也会与同一套训练共鸣，自然给高分。这是为什么我个人坚持 code review 用一个不同家族的 LLM——避免自己批改自己作业。”

4. charliebwrites：第一手 anecdata。”被裁后我手写简历投了一段时间，反响平平。试着让 ChatGPT 给我打分、再让它优化到最高分，我自己 fact-check 了一遍再发出去——之后回应率显著提升。当然也可能是市场季节变化，但简历质量明显改变了首关命中率。”

5. AlexB138：直接指出这会引发新的博弈策略。”如果我知道某家公司用某个 ATS、那个 ATS 用某家模型做筛选，我就会用同一家模型来写发给这家公司的简历版本。” 招聘市场从此多了一层”模型对齐”维度。

6. nottorp：戏谑版策略——”那就简单了，每家投 N 次，每次用不同 LLM 写。反正人类不会注意到。再加一份 N+1 是你自己写的、说明这个策略，以防万一。”

7. hyperpape：唯一一条 push back 论文方法的评论。”我读了大概一半，按我的理解他们其实没有真的证明 LLM 偏好自己生成的简历。他们的做法是：拿人写的简历，删掉 executive summary，用一个 LLM 重写 summary，再让另一个 LLM 只评估 summary。这种实验设计可能严重高估真实场景下的影响——如果它确实捕捉到了真实效应的话。” 提醒大家不要把 arxiv 结论当成铁板钉钉。

8. sb057：用比喻把整件事说透。”想想也很自然：LLM 会生成它自己评判为更好的文本，否则它就不会输出那个版本了。让一个 hiring manager 写一份简历然后失忆，再让他在一堆简历里选——他当然会选出他自己写的那份。”

9. randomdrake：把视野扩大。”这是不是也意味着新一代模型在训练时会更倾向于消化 LLM 自己生成的内容？我们正在创造一个’信息消费 + 训练’的闭环。” 自我偏好从招聘扩散到内容生态——这是更大的隐患。