AMD 收购 Taalas：把模型直接刻进硅片以提升推理性能
文章摘要
The Register 报道，AMD 在周四收盘后宣布收购加拿大多伦多的 AI 芯片公司 Taalas。这家公司做的事情非常激进：把模型权重直接刻进硅片，据称能把推理性能提升一个数量级甚至更多。AMD 未披露交易金额，但据了解这是一次真正的收购，而非 acquihire。交易须经监管批准，预计第四季度完成。
报道把这笔交易与去年 12 月 Nvidia 与 Groq 的 200 亿美元授权协议放在同一个语境里理解：让那些被 AI 智能体（比如编码助手）看重的高性能”高端”推理服务跑得更快、更便宜。
技术路线。Taalas 成立于 2023 年，其思路与传统 GPU、以及 Groq LPU 和 Cerebras 晶圆级加速器所依赖的数据流架构都截然不同——它的芯片不用 HBM 存放模型权重，而是把权重蚀刻进硅片本身。从这个意义上说，Taalas 的芯片其实是”模型专用集成电路”（MSIC，model-specific integrated circuit）。公司对具体实现一直非常保密，但已知处理器由两大区域构成：存放蚀刻权重的 mask-ROM recall fabric，以及存放 KV 缓存和微调适配器的 SRAM recall fabric。
这不是纸面概念。今年 2 月，Taalas 公布了基于台积电 6nm 工艺的首款测试芯片 HC1。初步基准测试显示，它以每秒 16,960 token 的速度服务 Meta 的 Llama 3.1 8B——按当时的说法，比 Nvidia GPU 快 48 倍，比 Cerebras 加速器快 8.5 倍。Llama 3.1 按今天的标准早已过时（2024 年年中发布），这块 reticle 尺寸的芯片本来就只是为了验证概念。第二代 HC2 计划把参数量提升到 200 亿。这听起来不多，但与 GPU 上跑大模型一样，权重可以用流水线并行分散到多块加速器上——每片 200 亿参数的话，服务一个万亿参数模型只需要 50 块加速器，而 AMD 恰好有机架级计算平台和自己的系统设计团队来承接。报道对比称，这比 Nvidia 新发布的 LPX 系统空间和能效都好得多——后者服务同样规模的模型需要几十块 GPU 加至少 2000 块 Groq LPU。
AMD 打算怎么用。据了解，AMD 计划把基于 Instinct 的 Helios 机架与 Taalas 技术的芯片配对使用，这暗示一种解耦架构：计算密集的 prompt 处理放在 GPU 上，token 生成卸载到 Taalas 加速器。文章还推测 AMD 可能采用一种”tick-tock”节奏——客户先在 Instinct 上部署验证模型，满意后再迁移到 Taalas 加速器。AMD 负责 AI 的 SVP Vamsi Boppana 给出的官方表态是”AMD 正在构建全栈 AI 平台，让客户能为每种 AI 负载灵活选择合适的计算方案”。
代价很明确：芯片一旦部署，你就被绑死在那个模型上了。任何大于 LoRA 适配器级别的改动都需要重新流片，既贵又慢。AI 热潮进入第四个年头，新模型几乎每月一批，AMD 的客户必须对自己的模型选择极有把握。不过据这家初创公司的说法，情况没那么糟：更新模型确实要重新流片，但不必从零开始，只需改动两层金属层，便宜得多也快得多。他们今年 2 月对 The Next Platform 表示，把模型权重蚀刻进硅片的成本比训练一个前沿模型低 100 倍。
The Register 判断这项技术主要会被模型开发商、其基础设施提供方和少数推理服务商采用。OpenAI、Anthropic 和 Meta 都是 Instinct 的大客户，看到 GPT 或 Claude 跑在 Taalas 与 Instinct 组合上并不会令人意外。文章最后还提到一个对模型研发的连带影响：test-time scaling（让模型”思考”更久以换取准确性）的主要缺点是消耗大量 token、又贵又慢；如果 Taalas 能把每 token 成本压下去、把输出速度提高 10 到 20 倍，模型开发者可能会把推理时间拉得更长。
HN 评论精华
937 分、700 多条评论。讨论围绕三个焦点：模型迭代太快这条路是否走得通、速度带来的质变、以及”把模型当消费品硬件卖”的想象。
最热的一条来自 LarsDu88：”我很意外 OpenAI 和 Anthropic 都没先走这一步。中国的开放权重模型正在赶上来，把他们的价值主张商品化了。把模型烧进硅片本来是建立护城河的下一步合乎逻辑的动作。”他还提到 Google 已经在做类似的事，在已有 TPU 的基础上还有把量化后的 Flash 塞进单块 TPU 做推理的实验项目。LPisGood 顺势说：”我很意外 Nvidia 还没合作做一块 Claude 芯片，这是双赢——可以授权出去，过时了还能卖掉。”moshun 唱反调：”考虑到模型迭代和换轨的速度，把模型烧进硅片感觉像是在竞速般地走向过时。”
“迭代太快”是最普遍的质疑。yumraj 问：等硅片出来的时候，蚀刻进去的模型是不是已经落后一到多个版本了？cogman10 给了具体估算：一切顺利且全自动的话乐观是 2 到 3 个月；流片出问题要改就是 6 个月甚至一年；如果走更标准的 ASIC 设计流程，设计还需要在 FPGA 集群上验证，而跑 LLM 的集群必须非常大，那可能长达 2 年——”chatjimmy 不演示更新的模型、只展示 8B 模型是有原因的”。redox99 把问题问得很尖锐：一年前的模型里有哪个今天还值得跑？2025 年 8 月你有 o3、Opus 4.1、Gemini 2.5 Pro、Grok 4——即便它们几乎免费，你也不如用今天已经几乎免费的新模型。除非 token/s 是关键指标，否则把模型刻进硅片看起来是个坏主意。（daishi55 在旁边感慨：”o3 才是一年前？进步真是疯了。”）反方也有实证：2001zhaozhao 指出过时模型永远有用武之地，比如 Claude Code 至今仍用很久以前的 Haiku 4.5 跑探索型子智能体，更别说客服这类”够用就行”的生产场景；singingtoday 说他们至今还在某些场景跑 GPT 4.1，想换但找不到又快、智能又不差的替代品。prinny_ 提出了这门生意成立的前提：他们赌的是存在一个拐点，此后每一代新模型相比上一代只有边际提升，从而让旧模型保值——”如果每年新模型都碾压旧的，他们的生意就不成立”。
速度带来的质变，是支持方最有力的论证。dave1010uk 的这条被不少人认可：他很意外大家没有更多讨论”拐点”——技术变快时会打开难以预测的全新 UX 类别。例如，更快的网速并不意味着能看 100 倍多的 HTML4 网页，它带来的是 SaaS、流媒体和交互性。他给出三个猜想：所有信息都实时叠加个性化上下文；AI 交互变得更像”边打字边出结果”而不是一来一回；AI 一次产出多个候选，由人、AI 或另一个系统来做选择。amelius 补充了第四种可能：同时开出上百个智能体做广度优先搜索——答案不一定更快，但研究得远为彻底。overfeed 提出了阴暗的一面：普遍化的分布式监控，打着”不是人来看就不算搜查”的旗号；在你手机上跑一个”保护端到端加密”的”安全”小模型，一旦怀疑通信内容违法就打小报告。sigmoid10 从体验角度说，光是速度就足以改变游戏规则：如今几乎找不到前沿模型在最大推理预算加多轮反馈下做不了的任务，但等推理跑完要一个多小时实在太难受；如果同样的事情能在几秒内完成而且便宜，”我很确定我们很快会看到由一个人运营的大型软件公司”。trash_cat 认为大家严重低估了这对机器人和 IoT 的意义：”当前的机器人架构受限于 token/s。不是 Fable 级模型又如何？”这一步直接冲着 Nvidia 去。
“模型即消费品硬件”的想象力。TechTechTech 类比 4K 视频解码：当年也是进了硅片之后成本趋近于零、速度极快；”够用”的 LLM 功能最终会进汽车、家电的片上，以电池级功耗跑出 chatjimmy 的速度。他猜软件工程也会这样：一个 USB 供电的 AI 加速棒，跑着 Kimi K3 级别（未来更强）的模型，50W 功耗下每秒上万 token，价格极低；要更好的模型就买新硬件，旧硬件对很多别的用途仍然够用——他认为中国会是这里的重要玩家，这符合其开放模型加硬件制造的战略。mixermachine 给这份乐观降了温：把模型规模放大到芯片上很难，ChatJimmy 基于的是 Llama 3.1 8B，而 Kimi K3 有 2.8 万亿参数，是 350 倍。api 描绘了他心中的终局：开放权重模型（先是 Kimi K3 这一级）被刻进硅片，像老式游戏卡带一样出售；你买一个 USB-C 转接坞把卡带插进去，数据中心则用 PCI 卡插槽装。wmf 一句话把气氛拉回地面：”每个卡带 1000 美元。你还想要吗？”mNovak 则乐在其中：”我喜欢这个的一点是，它显著提高了某种科幻场景发生的概率——你在黑市上捡起一块发烫的芯片，传闻里面烧着 Mythos 9 的权重。”bigyabai 接梗：”插上去发现是块老原型机，里面烧的是 Gemma 5。妈的，又被 Craigslist 坑了。”arlort 总结道：”稳步走向计算机由可插拔水晶构成的终极形态，正如《星际之门》所设想的。”
“物理 LoRA”的设想与反驳。syntaxing 认为这越来越说得通：SOTA 模型正在向某些架构和能力收敛，最终可能出现”基础模型 ASIC + 微调卡”的组合，后者是物理形态的 LoRA 适配器。smokel 质疑前提：”SOTA 模型的技术细节并没有公开文档，你怎么知道有没有在收敛？”cyanydeez 认为不会有微调卡，而是”某年份的基础模型 + 你的 GPU 跑任意 LoRA 层”。VladVladikoff 提了个安全问题：这是不是意味着有足够硬件的人可以从芯片上把 SOTA 权重扒下来？还是说这些芯片只在内部使用、不对外销售？ggm 从产品形态角度说：可现场重编程的叫 FPGA 加强版，可现场升级；烧死的话就需要每辆车、每架飞机上都有 ZIF 插座和便捷维修口，手机上要有可抽出的卡槽，否则就是新时代的计划性淘汰。deadbabe 抛出一个诱人但存疑的想法：”你可以把芯片拿回去只重刻模型的 diff 部分来升级。”Zenst 给出了可能最现实的落地形态：在 MoE 架构下，很多专家（expert）已经打磨稳定、变化很小，是烧进硅片的好候选；加一些 SRAM 之后，对这些专家的小改动也许无需重新流片——AI 模型也许有一天会变成往芯片上添加的一组”瓦片”，机器人领域可能来得更早，平衡的电机控制、视觉系统、语音识别这些东西大多已经就位，卡住它们的更多是电池/功耗。
来自实践者的一条冷水。mikeayles 说：”AMD 本可以省下这笔钱，用自己的硬件！我已经在 AMD 硬件（Xilinx Kria K26 SOM）上跑到 60k tok/s，权重烧在 URAM/BRAM 里，token 循环中完全没有 DRAM。和 Taalas 是同一个论点：单流解码是带宽受限的，所以别再从很远的地方去取权重。”但他非常坦率地堆叠了免责声明：模型只有 316 万参数（tinystories），token 是字符级的，那个 60k 纪录是 16 条流、每条只记得恰好一个 token 的上下文，”所以它是以惊人的速度什么都没说”；诚实的版本（完整上下文加 KV 缓存）单流约 19k tok/s。tandr 打趣：”严格说来，现在那也是他们的硬件了。”Melatonic 顺着这条提出一个关键问题：Taalas 的设计一开始就有远超普通芯片的片上缓存优势，”到底有多少收益来自真正的’烧录’，又有多少只是来自一块贴着边缘塞满 SRAM 的大芯片？”
演示地址由 whythismatters 贴出：chatjimmy.ai。itvision 的反应是”我的天这东西真快”，wxw 说”我太爱这个 demo 了，有魔法般的感觉”，nsxwolf 则报告了一个有趣的现象：”它不相信自己跑在那块芯片上，还跟我争。”
唯一系统性的怀疑论来自 msteffen。他说在所有关于模型基准和 AI 突破的讨论中，很少有人区分”峰值性能”和”可靠性能”：前沿模型的峰值很高（解开放数学问题、分析大代码库），但主观上可靠性能只能算中等——随手问 100 个问题，至少有好几个会得到错误或愚蠢的回答。他认为两者之间存在内在张力：模型越是敢于外推甚至幻觉，越可能想出巧妙微妙的解法，但也就越不可能写出一封得体的邮件回复。他自己天天用模型写代码，但不会让它接管日常通信。因此他的结论是：如果目标是在数据中心高速跑前沿模型，那有用（速度很酷），但他怀疑硬件更替的成本对前沿实验室是否划算；而如果目标是把这做成手机里的低功耗常规推理芯片，”把一个还不够可靠的东西这样烧进手机硬件，我理解不了”。jgilias 的回应给出了另一种用法：他在跑一种元 harness，用不同模型（和底层 harness）处理同一问题或互相 review，目标是让整体错误率低于任何单一模型——像传感器融合一样；这套办法慢且贵，但如果推理变得又快又便宜，这类多模型方案就会在更多场景变得可行。
最后是一段颇有时代感的感慨。linzhangrun 写道：”想到五六年后，Fable 级别的智能能以现在 100 倍的速度提供，我感到迷失。我无法想象未来是什么样子。”ilaksh 纠正了时间尺度：Cerebras 已经能以约 30 倍速度跑 Kimi 2.6 或 GLM 这类大模型，”100 倍是明年，不是六年后”。DiscourseFan 的回应只有一句：”会很酷，但也会很暴力、很可怕。”