DeepInfer 为什么突然火了

为什么突然火了

1. 01

   10 月 20 日,DeepSeek 在 GitHub 上以 Apache 2.0 协议开源内部推理框架 DeepInfer——这是支撑其一个集群每天 155 万亿 Token 服务的生产引擎,仓库一天内突破 1.27 万星。

2. 02

   时机极具戏剧性:前一天(10 月 19 日)美国国土安全部刚下令联邦民事机构禁购并移除 DeepSeek 产品,业界普遍把这次开源读作"你关大门,我开机房"。

3. 03

   硬件支持名单只有两家:英伟达 Blackwell 代际的 SM100 和华为昇腾 950——直接跳过所有老款英伟达 GPU,等于公开演示一条绕开出口管制的技术路线。

4. 04

   DeepSeek 在部署问答里罕见公开了生产账本:96% 的输入 Token 命中缓存,首字延迟约 400 毫秒,按谷电价格每张卡每小时收入约 38 美元。

脉络时间线

1. 2024-12模型开源,引擎隐身

   DeepSeek-V3(几周后是 R1)证明顶级权重可以开放,但"怎么把它便宜地跑起来"始终是个黑盒。

2. 2025-02开源周

   五天放出五个仓库——FlashMLA、DeepEP、DeepGEMM、并行策略和 3FS 文件系统——零件给了,组装它们的引擎没给。

3. 2025-04立下字据

   DeepSeek 发文《开源推理引擎之路》:自家服务栈基于 vLLM 早期分支深度魔改,与内部基础设施缠绕太深,暂时还放不出来。

4. 2026-10-17V4.1-Flash 上架

   V4 系列的更快快照以 MIT 协议登上 Hugging Face,支持 100 万 Token 上下文——这正是新引擎围绕的模型。

5. 2026-10-19华盛顿出手

   美国国土安全部依 FASCSA 对 DeepSeek 发布联邦民事机构采购排除与移除令;中国商务部次日回应表示强烈不满。

6. 2026-10-20DeepInfer 开源

   DeepSeek 开源 DeepInfer(Apache 2.0)与 Token 编解码组件 deepseek-recipe(MIT),并在知乎发技术长文、在 GitHub 放出部署问答,仓库 24 小时破 1.27 万星。

来龙去脉

推理引擎是什么,为什么这台值钱

训练好的模型只是一堆权重。把权重变成服务的机器叫推理引擎:它给请求排队、往 GPU 上排班、把算过的结果存下来复用,最终决定了回答多快、每个 Token 耗多少硅和电。这是 AI 公司最不起眼的一层,但对卖 API 的厂商来说,恰恰是离利润最近的一层。外界从没见过 DeepSeek 的这一层——只见过它的效果:API 价格低到同行难以跟进。

10 月 20 日的开源把这层掀开了。按官方说法,DeepInfer 就是支撑 DeepSeek-V4.1-Flash 线上服务的那套框架。它的设计核心是把一个请求拆成两段胃口完全不同的工序:Prefill 一口气读完整个提示词,拼的是算力;Decode 接着一个 Token 一个 Token 往外蹦,时间大多花在从显存里读参数和缓存上。与其让一台机器把两份工都干得很平庸,DeepInfer 把 Prefill 放在普通的 8 卡机上,把 Decode 放进 64 到 128 卡的“超节点”——官方建议的高效最小部署单元,是 64 卡 Prefill 加 64 卡 Decode。

96% 的魔术

整套文档里最扎眼的数字不是跑分,而是 96%:DeepSeek 称输入 Token 中有 96% 直接命中缓存,根本不用重算。Agent 类流量在重复这件事上堪称病态:每调一次工具,系统提示、工具说明和此前每一轮对话都要整个重发一遍。DeepInfer 的做法是把算过的 KV 缓存存进自家约 100PiB 全闪存的 3FS 集群——Agent 流量留 3 天,聊天流量留 7 天——任何一台 Prefill 机器都能复用任何一段前缀。收益非常夸张:同一张卡跑 Prefill,不算缓存每秒处理约 6 万个 Token,算上缓存命中每秒 150 万个,差了 25 倍。连没命中的部分也被做了手脚:V4.1-Flash 大量采用滑动窗口注意力,命中缓存后只需重放末尾 128 个 Token,官方称 Prefill 总计算量因此少了近一半。

一句 19 个月前的承诺,踩在地缘政治的鼓点上兑现

DeepSeek 最早说要开源这台引擎是在 2025 年 4 月,当时还专门发文解释为什么暂时放不出来:代码从 vLLM 早期分支分叉后改得面目全非,最快的部分和内部基础设施绑得太死。这次开源兑现了承诺的字面意思,也诚实地留了星号:核心引擎公开了——优化算子、带负载均衡的专家并行、会跳过低概率草稿的 DSpark 投机解码、异步调度——但 KV 缓存系统、Prefill/Decode 分离的粘合层和负载均衡器没给,理由正是它们仍与内部设施耦合。替代这部分代码的,是一篇技术长文和一份部署问答里写透的设计本身。

还有一层没人能忽略的背景。10 月 19 日,美国国土安全部动用 FASCSA 供应链权限,要求联邦民事机构排除并移除 DeepSeek 产品,称其模型构成“多种威胁途径”。一天后,DeepSeek 的回应不是声明,而是一个代码库——一个把华为昇腾 950 与英伟达最新芯片并列为首发平台、却压根不支持老款英伟达硬件的代码库。研究员陈德里更把这一刻说得毫无遮掩:开源与闭源,是 AI 两种未来之间的决战。你可以把这读作信念,也可以读作姿态,效果都一样:更省钱的部署图纸,现在同时对芯片鸿沟两侧公开了。这与我们此前梳理的存储涨价潮背后的 AI 需求逻辑,是同一条“算力经济学”主线的两段。

关键事实

开源日期

2026-10-20

协议

Apache 2.0

GitHub 热度

24 小时 1.27 万星

线上规模

155 万亿 Token/天

缓存命中率

输入约 96%

硬件

SM100 + 昇腾 950

各方怎么说

常见问题

普通开发者能在自己的机器上跑 DeepInfer 吗?

基本不能。它只支持一个模型(V4.1-Flash)、两个硬件平台(英伟达 SM100 数据中心卡与华为昇腾 950),官方建议的最小高效部署都要 64 卡 Prefill 加 64 卡 Decode。这是写给机房和云厂商的基础设施代码,不是给个人玩家的玩具。

关键部件没开源,这次放出来的东西有什么用?

三样:带生产级算子与调度技巧的离线引擎;能把 OpenAI 与 Anthropic 两套 API 格式统一归一的 MIT 协议组件 deepseek-recipe;以及文档——一份罕见的一线大模型公司"如何每天服务 155 万亿 Token"的工程蓝图。对研究者来说,设计笔记可能比代码本身更值钱。

这和美国的禁令有关系吗?

官方口径只谈降本与普惠。但 10 月 19 日 DHS 禁令、10 月 20 日引擎开源的时间咬合,被业界普遍读作一次刻意对冲:被挡在美国政府系统门外的同一天,DeepSeek 把自己的服务栈免费送给了其他所有人,还顺手给了华为芯片一等公民待遇。