Ollaya：开源 Jev 式决策模型的 Ollama
文章摘要
Ollaya 是开发者 Mert Cobanov 做的一个开源工具（Apache-2.0 协议），口号是”在本地运行决策模型”。它借用了 Ollama 的使用体验：一个二进制文件，pull、run、serve，再加一个本地 REST API，只不过运行的对象从生成式大语言模型换成了”决策模型”。项目特别声明自己是独立项目，与 Ollama 和推出 Jev 的 TypeSafe 公司都没有关系。需要说明的是，本文依据的是 10 月上旬抓取的官网和 FAQ，此时项目已更新到 0.8.0，支持 19 个模型家族；而 HN 帖子发布于 9 月 25 日，当时项目主要支持的是 Laya 等小模型，评论区很多讨论是针对那个阶段的。
什么是决策模型。 背景是 TypeSafe 推出的闭源模型 Jev，它开创了”决策模型”（也叫 System One 模型）这个品类。按 Ollaya FAQ 的定义，决策模型读入一个”状态”（一段文字、一封邮件、一个工单或一个 JSON 对象）和若干带类型的问题，在一次前向传播里为每个问题返回一个带类型的答案和校准过的概率。它从不生成文本，所以很快，输出也容易直接拿来用：路由工单、拦截消息、概率超过阈值就升级处理。官网首页的演示是：输入一条客户消息”今年第三次重复扣我钱了，今天退款，否则我就取消并换到竞争对手那里”，winnow:e4b 模型在 RTX 4090 上用 87 毫秒回答了五个问题：意图是退款（0.91）、是否紧急（是，0.92）、沮丧程度 2.89/3 非常愤怒（0.86）、是否要求退款（是，0.99）、流失风险（是，0.99）。
和 TypeSafe 的 API 兼容。 Ollaya 提供 /v1/systemone、/v1/models 等接口，请求和响应格式与 TypeSafe 一致，官方 TypeSafe Python SDK 0.7.1 只要把基础 URL 指向本地的 11435 端口（紧挨 Ollama 的 11434，两者可以并行）、API key 随便填，就能原样使用。一个问题可以是选择题、打分题或是非题，每个选项附带判断标准，返回结果里有选中的答案、置信度和每个选项的概率。
模型阵容。 目前支持的模型分两类：一类是小型编码器模型，如 Convai Innovations 的 laya（会自动在英语版和多语言版之间路由）、Moritz Laurer 的 NLI 零样本分类器、Knowledgator 的 gliclass、基于 ModernBERT 的 von、多语言的 decima，几毫秒到十几毫秒就能出结果，在 CPU 上也跑得动；另一类是解码器模型，如基于 Gemma 4 微调的 winnow（官方推荐 winnow:e4b）、Jared Palmer 基于 Qwen3.5 的 kev、Mapika 的 decider、vLLM Semantic Router 社区的 decision、Qwen 团队的安全审核模型 qwen3guard 等。权重都直接从作者的 Hugging Face 仓库拉取，锁定提交并校验 sha256，Ollaya 自己从不重新托管权重。
速度与准确率。 官网给了两组对比。一组和 Jev 比：在 2000 道”带类型决策”测试题上，Jev 的托管 API 准确率 0.738、延迟 236 到 276 毫秒（含网络），winnow:e4b 准确率 0.722、五个问题 89 毫秒，kev:9b 同样 0.722 但要约 500 毫秒和 24GB 显卡；laya:en 只要 10 毫秒左右，但准确率只有 0.361。FAQ 坦承小型编码器在难题上明显不如 Jev，如果你有针对固定任务的标注数据，专门微调的模型通常胜过任何通用模型。另一组和 Ollama 比：Ollama 0.35 在 9 月也加入了对两个决策模型（Bespoke Labs 的 Nimble 和 Together AI 的 Tev1）的支持，作者在同一块 RTX 5090 上用 Bespoke Labs 的公开基准（13 个数据集、3880 道人工标注题）比较，Ollaya 上的 winnow:12b 准确率 0.773、每题 60 毫秒，Ollama 最好的 Nimble 是 0.749、210 毫秒；同样跑 Nimble 权重时两边准确率相同，但 Ollaya 的校准误差低 5.5 倍（因为套用了作者拟合的温度参数），而 Ollama 更快（它跑的是 Q8_0 量化，Ollaya 用 fp32）。作者也承认 Ollama 的优势：有 Tev1，而且已经在用 Ollama 的人一个守护进程就能搞定两类模型。
隐私与部署。 服务默认只监听 127.0.0.1，网络只用于拉取模型，状态和问题都不记录；没有按 token 计费，硬件能跑多少就跑多少；概率按问题类型和选项数做了温度校准，可以用 Modelfile 在自己的标注数据上重新拟合。提供 macOS、Windows、Linux 的桌面应用和命令行，以及 Docker 镜像；所有模型都能在 CPU 上跑，有 NVIDIA 显卡时请求可降到毫秒级，Mac 上 laya 和 nli 可通过 MLX 用上 Apple GPU。它还自带 MCP 服务器和一个智能体技能，可以接入 Claude Code、Cursor 等工具。
HN 评论精华
本帖 618 分、约 145 条评论。作者 cobanov（Mert Cobanov）在评论区回答了不少问题，态度相当坦诚。不过讨论的重心很快从 Ollaya 本身转向了一个更大的问题：Jev 这类”决策模型”到底是真创新，还是给分类器换了个营销名词。
作者承认小模型差距明显。 george_max 的评论得票最高：有人用 Laya 得到过和 Jev 一样好的结果吗？他的体验是 Laya 明显更差，置信度低，复杂查询经常判断错。cobanov 回复说没错，Laya 比 Jev 弱很多，尤其在难题上，它是个小模型，快是快，但这是代价；接近 Jev 的开源模型要大得多，支持这些模型是他的下一步。handfuloflight 问决策质量和 Jev 比如何，他也给了同样的答复。lgas 做了一个”语义 grep”小工具分别接 Jev 和 Laya：一开始在”这是男人的名字”这类查询上 Laya 看起来差不多，但换成”这是一种蔬菜”差距就拉开了，把查询简化成”男人名字”时 Laya 基本就崩了。jonmagic 贴出了他每天看两次的 jevbench 排行榜：decider-4b v2 以 64.13 分排第一，略高于 Jev 1.13 的 63.29，Kev 4B 排 28 名，Laya 421M 排 41 名；rubymamis 注意到一个耐人寻味的现象：所有 Jev 类模型在公开题和保密题上的得分差距都比 GPT 这类大模型大得多，这是否说明它们在没见过的数据上泛化不好？scronkfinkle 则认为，在 LLM 时代生成大量数据去微调 Laya 既便宜又快，迟早每个人都会积累起自己的语料，他怀疑自己为什么还要为 Jev 付钱。
“决策模型”只是营销术语吗？ ranyume 一针见血地指出：标题说”运行决策模型”，示例却是一个文本分类任务。cobanov 接受了批评，说会换一个更像真实决策的例子。hbrn 的评论更尖锐：”决策模型就是分类器，System One 模型就是不做推理的小 LLM，置信度就是概率的某个函数，看到如今的工程师这么容易上当真让人难过。”他认为 Jev 唯一独特之处是它是一个通用分类器，而 TypeSafe 的营销反而让 Laya 恰好符合他们宣称的所有优点。verdverm 补刀说 Laya 作者在 arXiv 上的论文内容不完整，描述的东西听起来根本不像 Jev。redox99 说这有点像当年 HN 上那条著名的 Dropbox 评论，但这次你真的不需要 PB 级存储和无底的风投：”ChatGPT 之后，AI 几乎都变成了 LLM 和 LLM 包装，人们好像忘了怎么做机器学习，看到大家被一个分类器惊艳到还挺可爱的。”hodgehog11 也说零样本分类器早在 GPT-2、GPT-3 时代就有，很多公司内部一直在默默使用，只是没有被大张旗鼓地包装成产品，”其他团队几天之内就能复现甚至超越 Jev，这说明了什么？”CactusOnFire 调侃说期待有高手先上一个 Jev 式模型，再用逻辑回归替换掉它，从而显得像个降本增效的奇才。
另一方的辩护也很有力。fooker 说那些认为 Jev 的创新微不足道的人错了，它不是你 2019 年训练的 MNIST 分类器，关键在于只需训练一次，现代 LLM 的长上下文能力就能接管剩下的事；过去用 BERT 得自己训练，现在只要在查询里给出更多上下文。c10o 举例：一个 Discord 或 Twitch 的实时审核机器人，主播一换游戏，「干掉他们」这句话的含义就全变了，上下文频繁变化时重新训练不现实，通用分类器加动态上下文就能立刻生效。calebkaiser 认为真正让人兴奋的是 Jev 在价格、延迟和通用准确率之间找到的平衡点：结构化生成很好，但 LLM 当裁判做精确分类往往不行，越强的基础模型越贵、越难微调。mtkd 说他一直在大量使用 Jev，约 15 亿 token 才花 40 美元，一大堆原本外包给小型快速 LLM 的低重要性工作流有了替代方案，”我不理解这里为什么一片负面”；shepardrtc 说他已经把它集成进产品，相关部分成本降了约 75%。digitaltrees 解释说很多人恼火的不是技术本身，而是它被包装成突破性的前沿技术，”老实说这是我见过最好的营销活动之一”。alex7o 问它和指令式重排序模型到底有何不同，avereveard 的回答是：跨多个任务、零样本、还能保持概率校准，重排序模型只针对单一任务。Swizec 给出了一个很实用的工作流：先用 LLM 搭起来、迭代提示词，同时积累真实数据集，提示词稳定后改写成给 Jev 之类模型的评分细则，以后再考虑自己训练。
这对 AI 创业公司意味着什么？ pradn 的评论引发不少讨论：如果创新能在两周内就被开源复制，TypeSafe 的出路在哪里？他们要么持续证明效果更好，要么在体验、支持、定制方案上竞争。_menelaus 认为 TypeSafe 真正的护城河是训练 Jev 的强化学习合成数据管线，模型结构和训练脚本都不值钱；cjonas 怀疑那可能就是从某个旗舰模型蒸馏出来的，”一个下午加几千美元 token”。totetsu 提醒事情没那么简单，Laya 和 Jev 之间还有一场关于”在先技术”的争执，kensai 说双方都有很大的经济利益去抹黑对方。Fordec 认为”功能型创业公司”这个概念已经死了，过去一个细分订阅生意，现在只是某个人一个史诗级任务的工作量。
Ollama 会不会直接做掉它？ emmettbt 和 george_max 都认为 Ollama 随时可能加上对决策模型的支持；cobanov 回答说如果他们做了他会很高兴，反正 Ollaya 用的是和 Jev 相同的 API，你的代码不会被绑定。从官网后来的更新看，Ollama 0.35 确实在 9 月加入了两个决策模型，Ollaya 也随之加上了逐项对比。verdverm 还提到下一版 vLLM 会支持这类接口，GoModel 网关也已经支持。
到底能拿来干什么？ solaire_oa 装上试了，能用，但坦言”原谅我想象力不够，这有什么用”，他还觉得首页示例里”要求退款”和”流失风险”两个问题有点自说自话。devttyeu 分享了自己用决策模型包装成 Unix 风格工具的项目，比如”智能 grep”（查找”看起来大概像这样的错误”），他把 250MB、100 万行日志过了一遍，用 Jev 花了约 10 美元、10 分钟，换成以输入价格便宜著称的 DeepSeek 至少要贵十倍而且慢得多。colordrops 举了家居自动化的例子：”这里又冷又暗，想想办法”，就能几乎瞬间开灯开暖气。nickstinemates 说 Laya 不用 Ollaya 也很容易单独部署，他已经把原来的 Jev API 调用换成了跑在一块 4GB 显存 GTX 970 上的 Laya，上下文很小，但对他原有的一些小任务来说是无缝替换，让旧硬件派上了用场。最后还有几句轻松的：carimura 一开始以为这是 Ollama 团队出的，觉得”有点侵权的味道”；zahlman 调侃 Ollama 是跑大语言模型（large language models）的，那这个是跑”大语言……约德尔（yodels）”的。