现代频率派统计就该这么做：用假数据模拟理解一项研究可能发生什么
文章摘要
哥伦比亚大学统计学家 Andrew Gelman 在自己的博客上，用一个他反复批判过的经典案例，讲了一个方法论主张：判断一项研究是否站得住脚，不一定需要领域知识或统计学造诣，只需要做假数据模拟。
案例是那个在统计圈很出名的「漂亮父母更容易生女儿」研究。原论文报告说，最有魅力的父母生女孩的概率高出 36%，Freakonomics 团队照单全收地传播了这个结论。Gelman 当年就起了疑心，因为他熟悉性别比文献——女婴比例在各个亚人群（不同种族、不同产妇年龄等）中都极其稳定地维持在 48.5% 到 49% 之间。实际上原文的分析是把「非常有魅力」这一类与其余所有人比较，差异是 8 个百分点，而不是被误报的「36%」；但即便是 8 个百分点，也比任何合理的效应大小大了约 100 倍。
麻烦在于，数据看上去挺有说服力：3000 人的调查，最有魅力那一类的女婴比例确实最高，p 值小于 0.05，所以论文得以发表。Gelman 指出这里有两个熟悉的问题——显著性完全可以用「分叉路径」（forking paths）解释，因为把第 5 类与第 1~4 类比较是个很奇怪的选择，为什么不是把 4 和 5 与 1~3 比，或者干脆跑个回归？而一旦跑回归，斜率估计就不显著了，况且这个估计相对于现实中可能的效应大小实在太嘈杂，这是他常说的「袋鼠问题」。
但文章的重点是：把所有这些领域知识和统计判断都先放到一边。一个没有这些专门知识的研究者，有没有办法自己发现问题？
Gelman 的答案是有，方法就是假数据模拟（也可以叫模拟数据实验，或者自助法）。他特意区分了用法上的不同：常规的自助法是用来做偏差校正或给区间估计不确定性，而这里是用它来培养对数据收集过程的直觉。
具体做法很朴素。原数据来自 Add Health 研究第三波中约 2800 名至少有一个亲生子女的受访者；完整样本约 4877 人，其中 2% 被评为「非常没有吸引力」、5%「没有吸引力」、45%「大致平均」、37%「有吸引力」、11%「非常有吸引力」。于是在零模型下模拟：假设生女孩的概率恒为 0.488、与父母外貌无关，按上述比例模拟这么多次生育。文章展示了 20 组这样的模拟数据集，每组都配上拟合的最小二乘线——结果是这些纯粹的噪声里，出现的模式和真实数据一样戏剧性，说明原始数据完全不能作为反对零模型的证据。
Gelman 强调的关键点在于：这种模拟实验能暴露一个朴素设计的问题，哪怕你事先根本没预料到会有什么困难。原论文作者只要在分析前后随便跑 1000 次这样的模拟，就能替所有人省下大量麻烦——不需要数学推导，也不需要领域知识。
文章还给出了他对「频率派」的定义，这是全文最值得引用的一段主张：在他看来，频率派不是关于无偏估计量或长期覆盖率的，而是把你看到的数据当作可能实现的数据分布中的一次抽样；是去审视这个分布，既看自己的数据和推断未来可能如何波动，也据此解读眼前这份数据。
那为什么人们不天天这么做？他给了两个理由。一是很多人对统计理论的理解过于朴素，觉得「统计显著 = 真」，照此行事 95% 的时间不会出错；他们不检查，是因为觉得没什么可检查的，或者更准确地说，觉得专家已经替他们检查过了——「我也不会每次进电梯都去查一遍钢缆，我默认电梯安全的根本问题早就解决了」。二是模拟确实费劲：它要求一个完整的生成模型（定义「真相」并从某个随机过程模拟数据），加上对模拟数据的自动化分析，全部套在一个循环里，最后还要把推断与真相对比。这比做一次实验的工作量更大，既需要自动化的分析流程，也需要生成模型。但他认为这份额外工作本身就有价值——构建生成模型和自动化分析的过程，对想清楚整个实验流程很有帮助，其效果类似于预注册的各个步骤。
文末他注明这个例子出自《Bayesian Workflow》一书的 10.5 节「模拟数据实验作为虚拟重复」，此前从未作为独立文章发表过。他补充了一句很有自省意味的话：当有人（包括他自己）犯错时，有益的不只是找出错在哪、怎么发生的，还要退一步看看有没有某个更通用的流程本可以标记出这个问题。
HN 评论精华
这条提交拿到 63 分，但讨论相当克制，只有不到十条评论，基本没有争论，更像是几条补充说明。
关于标题的错位 —— 最高票的 wodenokoto 提了个很自然的疑问：一篇叫「现代频率派统计就该这么做」的文章，居然是从一本叫《Bayesian Workflow》的书里摘出来的，「解释这件事的文章在哪儿？」（他随后还是说这是篇好文章）。
这条引出了全场最有信息量的几条回复。spider-mario 说：「听你这么一描述，我就想——等等，这该不会是 Andrew Gelman 吧？果然是。」Tomte 补上了直接的答案，指出 Gelman 2018 年（2024 年又重申）写过一篇明确题为「贝叶斯派就是频率派」的博文。3abiton 的调侃被不少人认同：「一个贝叶斯拥护者用频率派方法，还没吵起来谁更优越。这世界怎么了？我猜大家是一致对外去打 AI 了。」
beckford 给出了最实用的延伸阅读指引：Gelman 等人的《Bayesian Data Analysis》里有一章「Model Checking」专门讲这个；入门向的《Statistical Rethinking》里对应的是「Sampling from the Imaginary」一章，而且就在第三章，很早就引入了这个主题。
关于案例细节 —— SubiculumCode 问那个吸引力分布是哪来的，是论文里的吗。Tomte 回了句「你离答案只差一次点击」，并引用原文注释：来自 Add Health 中 2972 名受访者，每人都被按五点量表评过吸引力。（顺带一提，博客原文里写的是 2792，Gelman 本人在自己博客的评论区确认那是个笔误。）
关于方法的实用价值 —— addag 给了个很接地气的推荐理由：这个技巧对于建立「某个样本量意味着什么」的直觉非常有用，拿不相关的数据跑几次模拟，就能感受到估计量能极端到什么程度。
关于 AI 的一条短评 —— j7ake 认为，在编码代理已经如此普及的今天，这一步应该在任何统计分析里都自动完成。这条没有引来反驳，但也没有展开。