Jevman：让 AI 决策模型来玩吃豆人
文章摘要
jevman 是瑞典 AI 网关公司 Opper 做的一个基准测试：让各家「决策模型」实时操控吃豆人（Pac-Man），对手是经典街机里的脚本幽灵，看谁玩得最好。发帖人 felix089 在自述中称 Opper 是他的创业公司。帖子拿到约 76 分、20 多条评论。
背景：什么是决策模型。 所谓「决策模型」（System One 模型）是近来兴起的一类低延迟模型，专门用来做快速选择题：给它当前状态和几个选项，它很快返回每个选项的概率，而不是生成一大段文字。这类模型里，TypeSafe 的 jev 最有名。felix089 在自述里说，OpenAI 刚推出了 decisions 接口，Cloudflare 前几周发布了 Clef，jev 的替代品越来越多，他们想把主流模型放在一起比一比，而吃豆人正好是一个考验「简单而快速的决策」的场景。由于这些模型延迟很低，游戏可以实时进行。首批参赛的有 jev 1.13、Kev、Clef、Clef Flash、GPT-6 Luna 和 Laya，每个模型打 100 局。
游戏怎么问模型。 吃豆人一旦进入一条走廊，下一个路口就确定了，游戏会立即把路口问题发给模型。选项是所有合法方向，每个方向都附上算好的信息：到豆子、能量豆、水果和各个幽灵的距离，最近的幽灵是否在靠近，幽灵能否比吃豆人先到达走廊尽头。同时最多有 3 个请求在途。如果吃豆人走到路口时答案还没回来，就停在原地「思考」；超过 2 秒或出错，则改用一条贪心规则代替，这些步数记为「备用走法」。走廊中途还有第二种问题：如果前方走廊里有危险的幽灵，或者幽灵能抢先到达走廊尽头，游戏会问模型要不要立即掉头。
规则与评分。 每局三条命，最多 5 分钟（实际最长一局只打了 2 分 24 秒）。排名按平均分计算，误差范围取正负两个标准误，彼此落在误差范围内的模型算并列。每局都有完整录像，可以精确回放复核。
排行榜现状。 截至 10 月 10 日官方生成的排行榜：jev 1.13 平均 2,750 分排第一，单局最高 6,380 分，平均延迟 290 毫秒，每局成本约 0.006 美元；其后是 GPT-6 Luna（2,568 分，延迟最低，仅 179 毫秒）、Clef Flash（2,538 分）、Clef（2,476 分，每局最贵，约 0.017 美元）、Microsoft Decision 1（2,390 分）、Aplomb 1（1,693 分）、Kev 4B（1,506 分，这是 Jared Palmer 基于 Qwen3.5-4B 微调的模型），Laya 垫底（639 分），README 说它的上下文只有 512 个 token，比一个问题还短。Claude Haiku 5.5 也被拿来试过，但三分之二的回答超时，主要靠备用走法在玩，所以没有排名。排行榜还统计了各模型的死因，例如「撞上走廊前方的幽灵」和「死在路口附近」各占多少。
社区榜单。 项目以 AGPL-3.0 协议开源（最初 fork 自 joch/jevman），任何能通过 HTTP 接口访问的模型都可以参赛：仓库提供一个 34 行的示例接口，跑一条命令就能按榜单规则打完比赛，再提交 PR，CI 会回放每一局核对分数，模型就以「自报成绩」的身份进入社区榜单。截至撰写时，社区榜单第一是 seiggy 提交的 SemIf（平均 3,210 分），超过了官方榜单上的 jev。普通聊天模型 Qwen 3.8 Flash Next NVFP4 也以 2,725 分进入前列。榜单里甚至有一个「随机掷骰子」基线，平均 1,037 分。
反过来玩。 访客也可以自己当吃豆人，让模型扮演四个幽灵：可以四个幽灵各用一个模型，也可以全用同一个，游戏中途还能切换。按 felix089 的说法，一局大约 2 美分，所有模型都通过 Opper 调用，他们给所有人准备了免费额度；额度用完后，经典脚本幽灵仍可免费玩。他说要打破 jev 的最高分出奇地难。
HN 评论精华
讨论规模不大，主要集中在游戏机制和参赛范围上。
为什么只在路口做决策。 hung 问，吃豆人本可以随时掉头，模型不是应该每一帧都做决策吗？hyperhello 认为，如果幽灵在这段距离内的走法是可预测的，那影响不大。theowaway213456 觉得逐帧决策需要更多计算，而这正是决策模型不擅长的；hyperhello 则推测，能随时改变方向反而需要更多计算。felix089 解释说，理想情况下应该逐帧决策，但模型延迟做不到；不过当幽灵进入吃豆人所在的走廊时，游戏会再问一次要不要掉头，部分弥补了这个问题，他还贴出了 README 中关于决策机制的完整说明。
普通 LLM 能不能参赛。 ismailmaj 希望加一个普通 LLM 作为参照。felix089 回复说，已经有人用聊天模型 Qwen 3.8 Flash Next NVFP4 跑了基准并通过 PR 提交，合并后它排进了前三。官方页面也提到，他们自己跑过 Claude Haiku 5.5，但太慢，没能上榜。
本地小模型。 nico 问是否测试过能在 CPU 上运行或训练的本地小模型或分类器，他训练过一些小模型做有趣的事，包括玩 Doom，打算为这个基准也训练一个。felix089 说还没有，但仓库就是为这种情况准备的，欢迎提交。alyssassan 顺带提到，jev 很适合放在本地跑一整夜，第二天早上直接看分类结果。
社区参与与额度模式。 felix089 后来更新说，在社区贡献下参赛模型数量翻了一倍，一个新模型夺得了第一（社区榜单上的 SemIf），人们已经和决策模型幽灵对战了一千多局。gsandahl 预言，迟早会有专门针对这个游戏训练的模型登顶。NichoPaolucci 很喜欢「共享额度池」的做法，他也在考虑给自己的小项目放 10 美元额度，再让用户自愿投钱。gsandahl 说他们在另一个项目 AI Roundtable 上也用过这种方式，效果很好；felix089 则顺势推荐了 Opper 的「AI 钱包」，让用户为应用里的推理自己付费。
其他反应。 ozozozd 说手机上操作不太方便，felix089 当场表示正在修。bayarearefugee 吐槽：「花 2 美分让别人替你玩游戏，这是什么样的现实。」NichoPaolucci 和 angeloleone1204 则欣慰地表示，至少自己玩吃豆人还比模型强。