YSK News

Tag #DeepInfer

1 post(s)

Telegram RSS
DeepSeek/官方:開源 DeepInfer 生產級推理框架——支援 V4.1-Flash;NVIDIA 與昇騰雙硬體;單叢集日處理約一百五十五兆 token

DeepSeek/官方:開源 DeepInfer 生產級推理框架——支援 V4.1-Flash;NVIDIA 與昇騰雙硬體;單叢集日處理約一百五十五兆 token

DeepSeek 開源生產級推理框架 DeepInfer(Apache 2.0),支援 DeepSeek-V4.1-Flash,可跑在 NVIDIA SM100 與華為昇騰 950;官方文件指單一叢集每日處理約一百五十五兆個 token。完整線上服務仍需自行補齊 KV cache 與負載均衡。香港企業若關注推理成本與私...