Inkling:我们的开放权重模型

查看原文 HN 讨论

文章摘要

Inkling 是 Thinking Machines Lab(由前 OpenAI CTO Mira Murati 创立的实验室)于 2026 年 7 月 15 日发布的开放权重(open-weights)模型,权重开源在 Hugging Face 上。这是该实验室首次”发布模型而非博客文章”,被 HN 评论普遍称为”迄今最强的西方开放权重模型”。

架构与规模:Inkling 是一个 Mixture-of-Experts(MoE)Transformer,总参数 9750 亿、激活参数 410 亿,支持最长 100 万 token 上下文,在 45 万亿 token 的文本、图像、音频、视频数据上训练。每层有 256 个路由专家、每 token 激活 6 个,另加 2 个共享专家。较特别的设计包括:用相对位置编码而非 RoPE,注意力和残差分支里引入短卷积;大矩阵权重用 Muon 优化器、其余用 Adam。原生多模态处理文本、图像、音频——视觉用 40×40 像素的 patch 编码,音频用 dMel 频谱图,采用无编码器(encoder-free)架构。

关键能力:模型提供可调的”思考强度(thinking effort)”旋钮,范围 0.2 到 0.99,官方称其在 Terminal Bench 2.1 上”以约三分之一的 token 量匹敌 Nemotron 3 Ultra”,成本效率突出。在 agentic 能力(编码、工具使用)上表现优异,演示包括生成 Web 应用、PDF、多人游戏(部分经过 40 轮人类反馈迭代)。后训练先用合成数据自举,再做大规模强化学习(连续训练中超过 3000 万次 rollout),一个有趣的涌现现象是模型的推理”随时间变得更简洁,丢掉了语法赘余却仍可读”。在 epistemics 与安全上,模型被训练成校准置信度、遵循指令、抗审查,在 FORTRESS 等安全基准上”能拒绝更多有害请求而不误伤良性的相似请求”。

定位与生态:官方明确表示 Inkling 并非”当今最强的综合模型”,而是一个可定制的基础模型。还有一个更小的 Inkling-Small(总参数 2760 亿、激活 120 亿,仍具多模态,尚未发布)。模型可通过实验室自家的微调平台 Tinker(五折优惠)以及 TogetherAI、Fireworks、Modal、Databricks、Baseten 等 API 使用。Thinking Machines 的商业模式核心正是 Tinker——把权重开源、靠帮客户做 SFT/RL 微调与托管来变现。

HN 评论精华