一个 GitHub 仓库,偏偏挑在这个时间点出现。
DeepSeek 开源了 DeepInfer。
官方说法很平:一个支撑 DeepSeek 大规模生产服务的高性能推理框架。
但评论区不平静。有人盯着美国 DHS 的 Exclusion and Removal Order #2026-01,有人盯着 Huawei Ascend 950,还有人直接把它解读为对美国前沿实验室的一次正面冲撞。
说实话,一个推理框架能激起这种反应,本身就说明它不只是代码。
这更像一次生产线开源
DeepInfer 目前支持的核心模型是 DeepSeek-V4.1-Flash。
它开放的能力很生产环境:优化 kernel、模型与 sampler runtime、Attention DP、balanced CP、MoE EP + EPLB、DSpark、confidence-scheduled verification、SWA bounded replay、异步调度、batch-invariant inference、确定性采样、结构化输出。
这些词单独看都很硬。
放在一起看,意思更直接:DeepSeek 把自己在大规模服务里踩过的坑、磨过的零件,摆到了桌面上。
个人觉得,这类开源比单纯放模型权重更值得盯。
模型决定能不能回答。
推理框架决定能不能便宜、稳定、长时间、规模化地回答。
工程细节里,藏着真正的杀招
DeepInfer 列出的优化组件包括 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect,以及自定义 TileLang kernels。
听起来像发动机零件。
但真正有意思的是几个开关。
比如 DSpark 和 confidence-scheduled verification。
它的思路是用 draft tokens 加速解码,再用置信度估计安排 verification。
再比如 Decoder SWA bounded replay。
官方说明里提到,可以通过只重放有限后缀,减少 decoder prefill 工作量。
还有异步调度,把 CPU 侧的 batch scheduling 和设备执行重叠起来。
这些设计都指向同一件事:降低延迟,挤出吞吐,减少开销。
老实讲,大模型服务拼到最后,拼的往往不是 demo 有多惊艳。
是谁能把每一块 GPU 的时间榨得更干净。
它没交整车,但把发动机先给了出去
DeepInfer 也没有把自己包装成万能云平台。
README 明确写了,完整推理服务还需要额外的东西:KV cache 系统、VE/Prefill/Decode disaggregation、跨数据并行副本的负载均衡。
这部分没有包含在本次发布里。
这点我反而觉得更真实。
它更像发动机,整车要自己装。
你想跑完整服务,还得自己接油箱、传动和底盘。
但问题就在这里。
发动机一旦开源,后面就会有人造整车。
小团队可以拿它做私有化部署,硬件厂商可以拿它做适配样板,开发者可以拿它研究调度、kernel 和并行策略。
官方还给了测量配置:4 块 SM100 GPU 做 prefill,64 块做 decode,各自在一个 scale-up domain 内。
这类写法很工程,也很像内部基准测试的口径。
华为 Ascend 950 出现,味道立刻变了
支持硬件列表不长。
NVIDIA SM100 GPUs。
Huawei Ascend 950 NPUs。
第二行很扎眼。
热门评论里,有人把这一条看得很重:开源推理代码支持华为 Ascend 950,可能会在全球 AI 硬件市场激起连锁反应。
这个判断并不夸张。
如果更多小实验室开始基于这套栈做二次开发,国产 NPU 得到的就不只是一个兼容案例。
它可能拿到一条生态入口。
当然,推理只是 AI 工作负载的一部分。
评论区也有人补了一句:如果训练侧也能在华为芯片上开源,那动静会更大。
这句话很关键。
推理开源先让芯片可用。
训练开源才会让芯片真正进入主战场。
美国前沿实验室的估值故事,开始被开源敲边鼓
热门评论里最敏感的一条,盯上了时间线。
有评论称,DHS 的 Exclusion and Removal Order #2026-01 昨天才公开,但文件本身显示 2026 年 7 月 24 日已发布并似乎生效。
按这个说法,相关机构可能从那时就开始撤下 DeepSeek。
于是有人推测,DeepSeek 可能在那前后就得知消息,并提前准备开源动作。
仓库在命令公开后数小时上线,看起来像一次卡点释放。
这只是评论区的推断。
但它能传播,说明大家都闻到了火药味。
另一条评论更冲:
That's Kami Kaze for US frontier labs.
翻译过来,大概是说这对美国前沿实验室近乎自杀式冲击。
还有评论嘲讽那些喊封禁开源权重模型的投资人。
说实话,这类话情绪很重。
但它戳中了一个现实:闭源 AI 公司的估值,很大程度建立在能力稀缺、部署门槛和算力成本上。
开源模型和开源推理栈一旦把门槛压低,故事就会变。
DeepSeek 不开发布会,直接发货
DeepInfer 的发布方式也很 DeepSeek。
没有盛大发布会。
没有华丽官网。
README 写得像工程文档。
构建要求摆在那里:Python 3.12,GCC 13.0 以上,NVIDIA 平台要 CUDA 13,Ascend 平台要 CANN 9.2。
默认 checkpoint 是 deepseek-ai/DeepSeek-V4.1-Flash-1017,首次运行会进 Hugging Face 缓存,也可以指定本地目录。
许可证是 Apache License 2.0。
它甚至不忘致谢:
DeepInfer was originally built primarily on vLLM, with additional inspiration from SGLang and TensorRT-LLM.
这句致谢很有分寸。
它承认生态来源,也把自己的增量放出来。
评论区有人说,DeepSeek 最让人舒服的一点,是不炒话题,不摆姿态,直接把东西免费递出来。
还有用户说,自己已经把 Claude Max 订阅换成 DeepSeek API,因为 V4.1 Flash 快、顺手,几乎不拒绝。
这类个体迁移,比宏大叙事更有说服力。
真正值得盯的,是成本曲线
热门评论里还流传两张截图。
一张提到 DeepSeek 在 off peak 价格下,每 GPU 每小时收入约 38 美元。
另一张提到,DeepSeek V4.1 Flash 推理系统曾设定目标,支持 KVCache 保留超过 72 小时。
这些材料来自评论区转述,不能直接当官方财报。
但它们指向同一个方向:DeepSeek 在意的不只是模型能不能跑。
而是长时间、低成本、可复用地跑。
KVCache 保留越久,多轮对话、长任务、复杂 agent 场景的成本就越可能被压下来。
每 GPU 每小时收入这种指标,也说明它把推理当生意算,不只是当论文写。
这才是让闭源厂商难受的地方。
当开源阵营开始把生产级调度、硬件适配、成本控制一起摊开,竞争就不再只是模型跑分。
它会变成部署成本、交付速度、生态适配和长期可用性的消耗战。
DeepSeek 这次端出来的,可能只是一个框架。
但它释放的信号很明确:开源 AI 不再满足于做替代品。
它开始抢生产环境里的螺丝钉。
当推理框架、芯片适配和模型能力被一起开放,闭源公司还能靠黑箱和算力墙守多久?
【锐评】:DeepSeek不吵不闹,把生产级推理和华为芯片适配开源,闭源阵营的护城河开始漏水。
参考链接:
https://github.com/deepseek-ai/DeepInfer