DeepSeek 開源生產級推理框架 DeepInfer（Apache 2.0），支援 DeepSeek-V4.1-Flash，可跑在 NVIDIA SM100 與華為昇騰 950；官方文件指單一叢集每日處理約一百五十五兆個 token。完整線上服務仍需自行補齊 KV cache 與負載均衡。香港企業若關注推理成本與私有部署，可對照本地閘道與私有 LLM 方案。

DeepSeek／官方：開源 DeepInfer 生產級推理框架——支援 V4.1-Flash；NVIDIA 與昇騰雙硬體；單叢集日處理約一百五十五兆 token

中國人工智能實驗室 DeepSeek 於官方 GitHub 倉庫公開 DeepInfer，標明為支撐其大規模生產服務的高效能推理框架，並以 Apache License 2.0 授權釋出。本文核對自 DeepSeek 官方倉庫 README、部署問答文件，以及同步開源的 deepseek-recipe 元件說明；來源真實性已驗證。重點包括：現階段支援模型、硬體前提、開源範圍界限，以及官方自述的叢集吞吐數字對企業推理成本的含義。

一、核心事件：把「能跑起來」的生產推理棧開源

技術細節

根據 DeepInfer README，此開源版提供離線推理（offline inference）所需的核心能力，目標是讓外界得以在規模化服務場景下使用相近的引擎組件，而非只公開模型權重。現階段明確列出的支援模型為 DeepSeek-V4.1-Flash；預設檢查點指向 Hugging Face 上的 deepseek-ai/DeepSeek-V4.1-Flash-1017。

功能清單涵蓋優化核心（kernel）、模型與取樣執行期，以及多項平行化與解碼加速機制，包括 Attention 資料平行／平衡上下文平行、MoE 專家平行與 EPLB、DSpark 與信心排程驗證、SWA 有界重播、非同步排程、批次不變推理、確定性取樣，以及結構化輸出（regex／JSON schema／EBNF）。官方同時點名底層曾開源的 FlashMLA、DeepGEMM、DeepEP、TileKernels 等元件可搭配使用。

硬體支援寫明兩條路徑：NVIDIA SM100 GPU 與 華為 Ascend 950 NPU。建置前提包括 Linux、GCC ≥ 13、Python 3.12，以及對應平台的 CUDA 13 或 CANN 9.2。README 也坦白列出完整線上推理服務尚未包含的部分：KV cache 系統、VE／Prefill／Decode 分離部署中仍與內部基建耦合的負載均衡等。換言之，開源的是可離線驗證與研究的引擎核心，不是「一鍵等同官方雲服務」的全套運維棧。

部署問答文件寫道，DeepSeek「今日」開源 DeepInfer，並稱其支撐 V4.1 Flash 的高吞吐、低延遲大規模推理；同一文件自述單一叢集目前每日服務約一百五十五兆（155 trillion）個 token，在低谷電價下整體營收約為每 GPU 小時 38 美元。這些數字屬官方自述營運指標，外界尚未見獨立複核；引用時應標明來源與語境。伴隨開源的還有 deepseek-recipe：生產級 token 編解碼元件，官方指其邏輯與 DeepSeek 正式 API 對齊，方便第三方部署維持一致的協議行為。

二、技術原理深度解析

大型模型推理已從單機服務程式演變成跨叢集協調系統。DeepSeek 在問答文件中把 V4.1 Flash 推理系統的設計目標概括為三點：一是支援多供應商加速器並吃滿各平台算力；二是以商品化硬體組織 Prefill 與 Decode（例如 Prefill 用一般 8 GPU 機、Decode 用 64–128 GPU 超級節點）；三是讓 KV cache 保留超過七十二小時，以提高快取命中、減少重複 Prefill。

系統層面強調更高吞吐與更低延遲並行：MoE 段在節點內做專家平行以抬高批次效率；Vision Encoder／Prefill／Decode 分離部署，令首 token 延遲（TTFT）與後續 token 間隔（TBT）可分開調優。Attention 採資料平行並與專家平行副本數對齊，再以多個負載均衡器與 KVCache 儲存降低重複計算。DeepInfer README 亦承認框架最初主要建基於 vLLM，並吸收 SGLang、TensorRT-LLM 等社群經驗——這有助讀者把本次開源放回既有開源推理生態，而非視為從零發明。

效能圖表方面，官方以 4 張 SM100 做 Prefill、64 張做 Decode（各在單一 scale-up 域內）量測 Pareto 曲線，並提供重現腳本。這類數字高度依賴硬體世代、網路與批次組成，企業應以自家負載重跑，而非直接外推為「保證省本」。

三、日常應用場景

1. 開發者與技術團隊

若團隊已在評估 DeepSeek-V4.1-Flash，可先用離線範例驗證吞吐與延遲，並研究結構化輸出、確定性取樣等選項是否符合產品契約。需注意完整線上服務仍要自建或採購 KV cache 與負載均衡，工程量不可低估。

2. 企業與隱私敏感行業

對金融、醫療、政府供應鏈等重視資料出境與單位算力成本的機構，開源推理棧提供「可審計、可私有化部署」的路徑，但硬體門檻（SM100／昇騰 950、CUDA 13／CANN 9.2）與運維能力同樣現實。合規審查應同時覆蓋模型授權、雲端供應商政策，以及各地對特定供應商軟體的採購限制。

3. 一般用戶

一般聊天用戶較少直接安裝 DeepInfer；感受會反映在第三方應用若採用更高效推理後，可能出現的價格或速度變化。官方雲服務與自架部署仍是兩條不同產品線。

4. 香港與亞洲市場視角

香港企業常見需求是：在可控成本下部署中英雙語助手、客服或內部知識庫，並盡量讓敏感資料留在本地或指定區域。DeepInfer 強調 NVIDIA 與昇騰雙路徑，對已規劃多元算力或關注供應鏈韌性的亞洲團隊有參考價值；同時美國等司法管轄區對 DeepSeek 產品的公務採購限制近期亦見報導，私營機構採用前應分開評估法遵與供應風險，不可把「開源可用」等同「各地均可採購」。

四、專業評價與潛在考量

優勢

官方把生產級推理框架以 Apache 2.0 公開，降低研究與工程對照門檻。
明確支援新一代 NVIDIA SM100 與華為昇騰 950，並搭配既有開源 kernel 生態。
文件坦承未開源部分，有助避免「以為開箱即官方雲」的誤解。
同步開源 deepseek-recipe，縮短第三方 API 相容落差。

需要留意的地方

155 兆 token／日與每 GPU 小時 38 美元屬官方自述，缺獨立驗證。
開源範圍不含完整 KV cache 與負載均衡，線上 SLA 仍取決於自建能力。
現階段模型覆蓋以 V4.1-Flash 為主；其他模型需等待後續開源。
硬體與工具鏈門檻高，中小團隊可能更適合託管 API 或較輕量閘道，而非一開始自建 Wide-EP 叢集。

結語

DeepInfer 的意義不在於再發一則「又一個推理引擎」新聞，而在於 DeepSeek 把支撐自身大規模服務的核心推理棧公開，並清楚劃出開源與未開源邊界。對香港與亞洲開發者而言，這提供了一條以成本與吞吐為中心的技術對照線；是否值得投入自建，仍取決於硬體可得性、合規政策與團隊運維深度。若企業更需要在香港境內可控環境運行私有模型與 API，可參考 YSK Limited 的企業私有 LLM 全託管（年費由 HK$88,000 起），或本地 Hugging Face 模型閘道 YSK Omni（v1.0.4，預設埠 3850）。

參考來源

DeepSeek-AI，DeepInfer 官方倉庫（README／授權／硬體與功能說明）：https://github.com/deepseek-ai/DeepInfer
DeepSeek-AI，DeepSeek V4.1 Flash Inference Deployment Q&A（開源宣告與叢集自述指標）：https://github.com/deepseek-ai/DeepInfer/blob/main/doc/inference_deployment_qa.md
DeepSeek-AI，deepseek-recipe 官方倉庫：https://github.com/deepseek-ai/deepseek-recipe
DeepSeek-V4.1-Flash-1017 模型卡（Hugging Face）：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Bloomberg Law 報道（發現／二手核對，非主來源）：https://news.bloomberglaw.com/artificial-intelligence/deepseek-unveils-open-source-tool-to-help-cut-ai-operating-costs