DeepInfer 是什么？DeepSeek 开源生产级推理框架详解与上手

快速答案

DeepSeek 开源的生产级推理框架，首版支持 V4.1-Flash、SM100 与昇腾 950。

2026 年 10 月 20 日，DeepSeek 把自家生产服务的推理引擎开源了：DeepInfer。它不是大模型，而是一套把训练好的模型部署成高速服务的基础设施软件——决定了你每次调用要花多少算力、等多久。这是 DeepSeek 第一次完整公开自己的推理生产栈：首版运行 DeepSeek-V4.1-Flash，同时支持 NVIDIA SM100 和华为 Ascend 950，Apache 2.0 协议。本文讲清它是什么、快在哪、谁用得上，以及和 vLLM、SGLang 的区别。

一、150 秒速览：DeepInfer 到底是什么

推理引擎（inference framework）是把已训练好的模型变成在线服务的软件层：它负责把模型切分到多块芯片上、批量处理请求、决定每个 token 多快出来。一个 AI 公司每回答一次的成本，有相当大一部分花在这上面。 DeepInfer 就是 DeepSeek 用来跑自己生产服务的这一套软件。2026 年 10 月 20 日，deepseek-ai/DeepInfer 在 GitHub 开源（Apache 2.0），与它一起开源的还有 deepseek-recipe——DeepSeek 生产用的 token 编解码组件，和官方 API 的编码行为保持一致。首版有几个硬事实（均来自官方 README，2026-10-21 实查）：只支持一个模型 DeepSeek-V4.1-Flash；只做离线推理（offline inference）；支持两类硬件：NVIDIA SM100 GPU 和华为 Ascend 950 NPU。开源 4 天，仓库已获得 9221 个 GitHub 星（GitHub API 实查，建仓于 2026-10-16）。

二、核心技术：它的快从哪来

先说底子：DeepInfer 官方承认"最初主要基于 vLLM 构建"，并从 SGLang、NVIDIA TensorRT-LLM 借鉴了思路。它的加速来自一整套组合拳： 1. 定制算子（kernels）：整合了 DeepSeek 此前已开源的 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，再加一批用 TileLang 写的定制算子。算子是榨干特定芯片算力的底层例程，同一模型换一套算子，吞吐能差出量级。 2. 并行策略：支持注意力数据并行（Attention DP）、均衡上下文并行（balanced CP），以及 MoE 专家并行 + 专家负载均衡（EPLB）。MoE 模型每次只激活部分专家，专家并行能把不同专家的计算摊到多块卡上。 3. 推测解码（DSpark）：模型一次猜出最多 5 个 token（环境变量 DEEPINFER_USE_NEXTN_DECODE 控制，默认 5；总开关 DEEPINFER_ENABLE_MTP_VARLEN=1），再用置信度调度决定保留哪些，猜对的部分直接输出，省去逐个生成的等待。 4. 解码器 SWA 有界回放：prefill 时只回放有界的后缀，减少解码器的 prefill 工作量（DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact，保留 token 数默认 140）。 5. 结构化输出：生成结果可被约束为正则、JSON schema 或 EBNF 文法，对接 Agent 和业务系统时不用再写一层解析清洗。 6. 确定性与批次无关（仅 NVIDIA）：开 DEEPINFER_BATCH_INVARIANT=1 后，同一请求不管和谁拼成一批，结果都一样；配合固定随机种子还能做到确定性采样。这对需要可复现结果的评测和审计场景很关键。另外异步调度（CPU 排批和设备执行重叠）默认开启，进一步压榨硬件利用率。

三、硬件与环境：不是给个人电脑准备的

官方 README 列出的最低要求：Linux、GCC ≥ 13.0、Python 3.12；NVIDIA 侧要 CUDA 13，Ascend 侧要 CANN 9.2。支持的硬件只有两类：NVIDIA SM100 GPU、华为 Ascend 950 NPU——都是数据中心级硬件，消费级显卡（如 RTX 4090）不在支持列表。构建方式：新建空的 Python 3.12 环境，按平台设置环境变量 export DEEPINFER_ACCELERATOR=nvidia（Ascend 平台用 ascend），然后运行 ./build.sh。值得注意的是它的国产算力支持：同时原生支持 NVIDIA 和华为 Ascend 的生产级推理栈，在公开项目里并不多见。对国内有昇腾集群的团队，这是第一个可以直接研究的 DeepSeek 生产级实现。

四、官方公布的性能数字（附验证说明）

以下数字来自 DeepSeek 官方公布（经媒体报道），未经第三方独立验证，引用时请注意： - 生产集群日处理 155 万亿 tokens（155 trillion tokens/day/cluster） - 输入缓存命中率 96%——意味着绝大多数请求上下文直接命中缓存，不用重算 - 平均首 token 时间约 400 毫秒 - 生成速度 230 tokens/秒，代码场景最高 300 tokens/秒 - 官方 benchmark 在 4 块 SM100（prefill）+ 64 块 SM100（decode）上测得，同一 scale-up 域内这些数字的意义不在于精确复现，而在于理解它的设计目标：高吞吐、低延迟、为大规模生产服务优化。个人用户不要指望在自己的机器上复现这个量级——那需要一个集群。

五、上手：从源码构建到第一次离线推理

前提：你得有支持的硬件（SM100 或 Ascend 950）和上一节的软件环境。以下步骤来自官方 README（2026-10-21 实查）：第一步：准备环境。Linux + GCC ≥ 13.0 + Python 3.12，新建并激活一个空的 Python 3.12 虚拟环境；NVIDIA 平台装好 CUDA 13，Ascend 平台装好 CANN 9.2。第二步：从源码构建。git clone https://github.com/deepseek-ai/DeepInfer ，按平台设置环境变量：export DEEPINFER_ACCELERATOR=nvidia（Ascend 平台换成 ascend），然后运行 ./build.sh。第三步：第一次离线推理。默认权重 deepseek-ai/DeepSeek-V4.1-Flash-1017 会在首次运行时自动下载到 Hugging Face 缓存；如果想用本地权重，设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017。运行：python examples/offline_inference.py。两个实用提示：想打开推测解码，设 DEEPINFER_ENABLE_MTP_VARLEN=1；想约束输出格式，给 SamplingParams 传 so_args（含 schema_type 与 schema），示例见仓库 examples/_structured_output.py。更多用法看仓库 examples/README.md。

六、适用与不适用：诚实地说清边界

适合： - 想研究 DeepSeek 生产栈的研究者和工程师：第一次有人把"便宜又快"背后的完整推理实现开源 - 有 Ascend 950 集群的团队：可直接参考的国产算力生产级实现 - 做推理优化、算子开发的学习者：FlashMLA / DeepGEMM / DeepEP / TileLang 算子都在仓库里 - 离线批量推理场景：大批量文档处理、离线评测，不需要在线服务不适合： - 想在消费级显卡上跑：硬件门槛就是 SM100 / Ascend 950，个人电脑不在支持范围 - 想直接对外提供 API 服务：首版是离线推理，官方明确列出缺失项——KV cache 系统、prefill/decode 分离、跨副本负载均衡，搭完整在线服务还得自己补 - 想跑别的模型：目前只支持 DeepSeek-V4.1-Flash（官方称后续模型的推理代码会进同一个仓库，但那是以后） - 期待开箱即用：从源码构建、对环境版本有硬性要求，不是 pip install 就能用的东西如果你是在找消费级显卡上部署开源模型的方案，本站的 ComfyUI 显存与量化指南（https://yuliuswiki.com/comfyui-diffusion-model-vs-checkpoint）可能更适合你。

七、参考来源与免责声明

本文关键事实来源（2026-10-21 实查）： DeepInfer 官方 README（特性、硬件、构建步骤、benchmark 配置）：https://github.com/deepseek-ai/DeepInfer GitHub API（星数 9221、建仓 2026-10-16、Apache-2.0）：https://api.github.com/repos/deepseek-ai/DeepInfer DeepSeek 官方公布的生产数据（经媒体报道）：https://cryptobriefing.com/deepseek-open-sources-deepinfer-inference-framework/ 开源背景与 vLLM 关系梳理：https://madrobot.blog/2026/10/20/deepseek-deepinfer-open-source-inference-engine-huawei-ascend-nvidia/ deepseek-recipe 与发布细节：https://ailetter.ai.kr/en/d/2026-10-20/9 特性细节解读（DSpark、结构化输出、离线限制）：https://goldenera.si/news/deepseek-deepinfer-open-source-inference/ 免责声明：本站与 DeepSeek 官方无关，本文仅作技术介绍。DeepInfer、DeepSeek 相关商标与代码版权归其权利人所有。性能数据为 DeepSeek 官方公布，未经第三方独立验证；硬件支持与功能以官方 README 最新版本为准。

DeepInfer 与主流推理框架横向对比

对比维度	DeepInfer	vLLM	SGLang	TensorRT-LLM
定位与基础	DeepSeek 生产栈开源；官方承认最初主要基于 vLLM 构建	社区事实标准的通用推理引擎（PagedAttention）	伯克利开源，RadixAttention，前缀缓存见长	NVIDIA 官方，深度绑定自家 GPU 优化
首版支持模型	仅 DeepSeek-V4.1-Flash	Hugging Face 生态大量模型	主流开源模型	主流开源模型（NVIDIA GPU）
开源协议	Apache 2.0	Apache 2.0	Apache 2.0	Apache 2.0
硬件支持	NVIDIA SM100 + 华为 Ascend 950（README 明确列出）	以 NVIDIA CUDA 为主，社区有 AMD / 国产算力适配	以 NVIDIA 为主	仅 NVIDIA GPU
结构化输出	支持（正则 / JSON schema / EBNF 文法）	支持（JSON / 正则 / 语法引导）	支持	支持
在线服务能力	首版仅离线推理；缺 KV cache、prefill/decode 分离、负载均衡	完整在线服务能力	完整在线服务能力	完整在线服务能力
适合谁	研究 DeepSeek 生产实现、Ascend 950 部署	通用自建推理服务	多轮对话 / 前缀复用场景	NVIDIA 生态深度调优

常见问题解答 (FAQ)

DeepInfer 和 vLLM 是什么关系？会取代 vLLM 吗？

官方 README 明确写了 DeepInfer“最初主要基于 vLLM 构建”，并从 SGLang、TensorRT-LLM 借鉴思路。它更像是 DeepSeek 在 vLLM 底子上为自家生产场景深度定制的分支，首版只支持自家一个模型，不会取代通用定位的 vLLM。想搭通用推理服务，vLLM 仍是更稳的选择。

我的 RTX 4090 / 消费级显卡能跑 DeepInfer 吗？

不能。官方支持的硬件只有 NVIDIA SM100 GPU 和华为 Ascend 950 NPU，都是数据中心级硬件。消费级显卡不在支持列表，项目本身也是为生产集群设计的。

DeepInfer 目前只支持 DeepSeek 自己的模型吗？

是的。README 的 Supported models 列表里只有 DeepSeek-V4.1-Flash。DeepSeek 官方表示后续模型的推理代码会进入同一个仓库，但现阶段它就是 V4.1-Flash 的专用引擎。

能直接拿 DeepInfer 对外提供 API 服务吗？

不能开箱即用。首版只做离线推理，README 明确列出完整在线服务还需要但本版没有的三样东西：KV cache 系统、prefill/decode 分离、跨数据并行副本的负载均衡。适合研究和离线批量推理。

DeepInfer 和同时开源的 deepseek-recipe 各是什么？

DeepInfer 是推理引擎（跑模型的）；deepseek-recipe 是 DeepSeek 生产用的 token 编解码组件，保证自建服务的分词行为和官方 API 一致。两者配合，才能完整复现 DeepSeek 的生产链路。

DeepInfer 可以商用吗？模型权重呢？

框架代码是 Apache 2.0，允许商用、修改和二次发布。但模型权重是另一回事：默认权重 deepseek-ai/DeepSeek-V4.1-Flash-1017 在 Hugging Face 另行授权，使用前请以仓库页面的 license 标注为准。