DeepSeek开源DeepInfer，一个旨在降低AI运行成本的推理工具

中国AI公司DeepSeek在2026年10月20日于GitHub上发布了DeepInfer，公开了据其所言已支撑其大规模生产服务的推理框架。该软件在github.com/deepseek-ai/DeepInfer上以Apache 2.0许可证发布，根据SiliconANGLE和TechTarget的报道。

推理是模型训练后的阶段，它实际生成对用户提示的答案。DeepSeek在其发布说明中表示（据Gizmodo引述），"我们分享生产堆栈以帮助社区降低计算成本、减少能耗，并使AI更加经济实惠。"

DeepInfer的功能

根据Gizmodo和TechTarget的报道，DeepInfer是专为DeepSeek的V4.1-Flash模型构建的优化层，该系统是公司用于编码和代理任务的产品。SiliconANGLE报道称，DeepSeek的一个生产集群使用该框架每天服务155万亿个令牌。

该框架依赖于推测解码，一种技术方式，其中较小的"草稿"模型提前提出多个令牌，而主模型在一次传递中检查它们，而不是逐个生成每个令牌。SiliconANGLE引用DeepSeek的技术文档，描述了DeepSeek这一系统的特定版本，称为DSpark，其中草稿模型提出五个令牌，同时一个独立的置信机制预测主模型是否会接受它们；DeepSeek表示这将不必要的验证减少了约30%，在生产规模负载下产生4%至7%的吞吐量增益。

根据SiliconANGLE，发布的代码支持Nvidia的SM100（Blackwell）GPU和华为的Ascend 950神经处理单元，但不支持较早的Nvidia Hopper系列芯片。TechTarget指出，运行DeepSeek之外的AI模型的企业已经可以使用类似Nvidia的TensorRT-LLM等工具，并根据该报道，DeepSeek继续依赖Nvidia硬件以及华为芯片表明华为在某些方面仍然落后于Nvidia。

遗漏的内容

DeepSeek并未发布运行完整生产服务所需的一切。SiliconANGLE报道称，该公司保留了其键值缓存管理系统和负载均衡代码，因为它们与DeepSeek自有的内部基础设施紧密耦合，并且高效部署仍需至少128个GPU——64个专用于处理提示，64个用于生成响应。该机构补充说，确定性输出功能（使模型对相同输入返回一致答案）目前仅在Nvidia硬件上工作。

成本比较和反应

Gizmodo报道称DeepSeek将V4.1-Flash的价格定为每百万输入令牌0.035美元、每百万输出令牌0.12美元，而它引用的OpenAI GPT-6 Astra模型的价格分别为每百万令牌10美元和50美元；Gizmodo将此版本描述为DeepSeek对OpenAI和Anthropic施加压力的一部分。SiliconANGLE另外报道称，DeepInfer运行的集群的非峰值定价每个GPU每小时可产生约38美元的收入。

Omdia分析师Lian Jye Su告诉TechTarget，业界对优化令牌使用有相当多的讨论，指出随着AI采用的增长，令牌消耗大幅上升。TechTarget描述分析师将此版本视为成本优化举措，同时也是地缘政治定位努力，还推广了中国芯片替代品以及Nvidia硬件。

背景

SiliconANGLE报道称，DeepInfer最初是在2025年4月从开源项目vLLM分叉而来的，当时公司发现完整发布不切实际。DeepSeek之前因发布低成本、具有竞争力的AI模型而备受关注，DeepInfer的发布通过开放基础设施软件而非仅开放模型来延续这一模式。

根据Gizmodo，DeepSeek表示计划在未来向DeepInfer框架添加对其他模型的支持，但未给出时间表。