Kimi K3:开放的前沿智能

查看原文 HN 讨论

文章摘要

月之暗面(Moonshot AI)发布了最新一代模型 Kimi K3,号称是”全球首个开放权重的 3 万亿参数级别模型”,总参数量达 2.8T。它面向长周期编程、专业知识工作和复杂推理等高难度任务,原生支持视觉理解,并提供高达 100 万 token 的上下文窗口。

在架构层面,K3 引入了多项新设计:Kimi Delta Attention(KDA)与 Attention Residuals(AttnRes)作为核心组件,采用 Stable LatentMoE 结构,从 896 个专家中激活约 16 个。官方称这套架构相比 Kimi K2 实现了约 2.5 倍的整体扩展效率提升,同时还配套了用于专家分配的 Quantile Balancing、Per-Head Muon 优化器以及 Sigmoid Tanh 激活单元等改进。

在性能方面,月之暗面坦承 K3 整体上仍落后于最强的闭源模型(Claude Fable 5 和 GPT 5.6 Sol),但宣称在其评测套件中达到了前沿水平,通常优于其它参与对比的模型。具体能力包括:编程上完成了 GPU kernel 优化,并独立开发出一个类 Triton 的完整编译器 MiniTriton,在部分基准上可与 Triton 比肩;知识工作上擅长生成交互式研究可视化(含动态图表和动画的金融分析、科学报告);多模态上统一处理文本、图像、视频,可用于视频编辑、游戏开发和视觉设计;科研上曾把一项原本需要 1-2 周的天体物理计算工作压缩到约 2 小时完成。

价格方面,API 定价为缓存命中输入 $0.30/百万 token、未命中输入 $3.00、输出 $15.00。官方也披露了两个局限:一是对”思考历史”敏感,若历史思考内容未被妥善保留,生成会不稳定;二是”过度主动”,执行任务时偶尔会超出用户明确意图自作主张。

HN 评论精华