螞蟻/inclusionAI:開源 Ling-3.1-flash——五百六十億總參數、二十五億激活、MIT 授權;百萬 token 上下文並支援 SGLang/vLLM

Key takeaway

螞蟻集團旗下 inclusionAI 已在 Hugging Face 以 MIT 授權公開 Ling-3.1-flash 模型權重,供開發者自行下載與部署。模型卡標示總參數約五百六十億、每 token 激活約二十五億,並宣稱支援長達一百萬 token 的上下文窗口,部署路徑涵蓋 SGLang 與 vLLM。來源真實性已對照 Hugging Face 模型卡與 API 元資料核實,並以 TechNode 報道作交叉確認;本文整理架構規格、推理配方,以及對香港與亞洲企業私有化部署的含義。

螞蟻/inclusionAI:開源 Ling-3.1-flash——五百六十億總參數、二十五億激活、MIT 授權;百萬 token 上下文並支援 SGLang/vLLM

螞蟻集團旗下 inclusionAI 已在 Hugging Face 以 MIT 授權公開 Ling-3.1-flash 模型權重,供開發者自行下載與部署。模型卡標示總參數約五百六十億、每 token 激活約二十五億,並宣稱支援長達一百萬 token 的上下文窗口,部署路徑涵蓋 SGLang 與 vLLM。來源真實性已對照 Hugging Face 模型卡與 API 元資料核實,並以 TechNode 報道作交叉確認;本文整理架構規格、推理配方,以及對香港與亞洲企業私有化部署的含義。

螞蟻/inclusionAI:開源 Ling-3.1-flash——五百六十億總參數、二十五億激活、MIT 授權;百萬 token 上下文並支援 SGLang/vLLM

inclusionAI 在 Hugging Face 發布的 Ling-3.1-flash 模型卡寫明:這是面向複雜真實世界任務的原生混合推理升級版,建立於 Ling-3.0-flash 之上,總參數 560B、每 token 激活 25B,上下文窗口達 1M token,授權為 MIT。Hugging Face API 顯示倉庫建立於二○二六年十月十三日,最近修改時間為十月十五日;TechNode 於十月十六日報道螞蟻已釋出權重,開發者可在自有基建部署。

模型卡強調能力覆蓋通用智能體、搜尋、辦公生產力與軟件工程,並在 GDPVal-AA V2.1、HealthBench Professional、FrontierSWE、Terminal-Bench 4.0 等基準上展示「強表現」;亦提及金融與材料等專業領域的改進。官方同時介紹編碼輔助框架 LingCode(基於開源編碼智能體 Pi),用於長時程、多輪工具調用與上下文壓縮,並表示正考慮未來開源——目前並非已開源組件。

一、核心事件:MIT 開放權重落地,規格可逐項核對

技術細節

根據 Hugging Face 模型卡「Model Overview」表:

  • 架構:Hybrid-linear MoE(混合線性專家混合)
  • 參數規模:總計 560B,激活 25B
  • Transformer 層:63 層 KDA+9 層 Gated MLA(比例 7:1)
  • 稠密層:4
  • 路由專家:512;共享專家:1;每次激活專家:8
  • 注意力頭:64;隱藏維度:4096
  • 專家/稠密中間維:1280/10240
  • 詞表:157184

部署方面,模型卡推薦 SGLang 為首選路徑,並提供 day-0 映像 lmsysorg/sglang:dev-ling-3.1-flash,支援 MTP(NEXTN)推測解碼與 Hopper 解碼優化。參考伺服器配置為 8×H200(--tp 8 --ep 8);在 4×GB300 上改用 --tp 4 --ep 4。另提供 vLLM 安裝與 serve 配方,含專家並行、前綴緩存、以及 ling3 工具/推理解析器。驗證過的配方涵蓋 H200、GB300、H800、H100、B200 等,細節指向 SGLang cookbook。

二、技術原理深度解析

Ling-3.1-flash 的賣點不只是「大」,而是以 MoE 激活稀疏性把推理成本壓到約 25B 激活參數,同時保留 560B 級總容量,並用 KDA 線性注意力為主、Gated MLA 為輔的混合結構去撐長上下文。對企業私有化而言,這意味著:長文件、長對話與多工具智能體工作流,理論上可在自有 GPU 叢集上跑,而不必把整份行業語料送上公有 API。

推測解碼(NEXTN/MTP)與 Hopper 相關環境開關,屬推理側加速手段;模型卡稱可選 Hopper 優化約可加快 batch-1 解碼約百分之十,但實際吞吐仍取決於批次、量化與緩存策略。開源授權採 MIT,降低二次分發與商業嵌入的授權摩擦,惟權重體積與多卡並行需求,仍決定真正「能落地」的團隊規模。

對照同日週邊消息:中國商務部第四十八號公告正就大模型與智能體等技術出口列管徵意見(本站已報道),開源權重進入公共領域的路徑與跨境技術轉移管制敘事並存——企業更需要把「權重來源、部署地域、授權條款」寫進合規清單,而不是假設開源即無邊界。

四、日常應用場景

1. 開發者與技術團隊

適合已具備多卡 GPU(例如 H200/GB300 級)與 SGLang/vLLM 運維能力的團隊,用來試驗長上下文代理、終端工具調用與代碼智能體。模型卡建議取樣參數 temperature=1.0、top_p=0.95、top_k=20,並以 enable_thinking=true 開啟思考模式。LingCode 目前屬官方自述組件,不宜當成已可下載的開源依賴。

2. 企業與隱私敏感行業

金融、醫療、法律等行業若需把長合約、病歷摘要或合規卷宗留在可控機房,開放權重提供「自託管推理」選項;MIT 授權亦利於內網分發。惟 560B 級 MoE 對電力、散熱與維運要求高,中小團隊更常以托管或較小開源模型起步,再評估是否升級到此級別。

3. 一般用戶

一般消費者仍多透過雲端聊天產品使用大模型;直接下載 Ling-3.1-flash 對一般用戶門檻高。對讀者更有意義的是:亞洲廠商持續以開源權重競爭「可自託管的長上下文代理」敘事,企業採購時多了一個可核對規格的選項。

4. 香港與亞洲市場視角

香港企業常同時對接內地開源生態與海外客戶交付。Ling-3.1-flash 這類 MIT 權重,便於在香港或本地專用機房做 PoC 與行業微調;若業務涉及跨境把境內限制類技術整包遷出,仍須另行檢視出口與數據合規。亞洲市場近期開源權重密集(含其他廠商的桌面級與資料中心級模型),採購決策宜比較:授權、激活參數、上下文上限、官方推理配方是否齊備,而非只看總參數行銷數字。

五、專業評價與潛在考量

優勢

  • 規格表完整(560B/25B/1M/專家數),可在官方模型卡逐項核對,利於技術盡職審查。
  • MIT 授權與 SGLang/vLLM day-0 路徑,降低「有權重無權部署」的落差。
  • 明確對準代理、辦公、醫療基準與軟件工程場景,商業敘事與企業私有化需求對齊。

需要留意的地方

  • 基準「強表現」為官方自述,外界獨立複測仍需時間;不宜把未核對的排行榜數字寫進投標文件。
  • 參考硬體為多卡高端 GPU,隱含總擁有成本高;混合精度顯存壓縮等第三方報道數字若未入模型卡,本文不予採用。
  • LingCode「考慮開源」≠已開源;依賴該 harness 的工作流仍有供應商鎖定風險。
  • Hugging Face 介面或顯示約 572B「Model size」字樣,與卡片「560B total」並存時,應以模型卡參數表為準。

結語

Ling-3.1-flash 把螞蟻 inclusionAI 的長上下文混合推理模型,以 MIT 權重形式推入可自託管軌道,並備妥 SGLang/vLLM 配方。對香港與亞洲希望把行業知識與推理留在可控環境的團隊,這是一則可核對規格的開源動向,而非單純的參數競賽新聞。若企業需要把資料集、微調到私有 API 的流程留在香港完成,可參考 YSK Limited 的企業私有 LLM 全託管(年費 HK$88,000 起,Dataset → QLoRA/LoRA → 私有 API,100% 數據不出境):https://ysk.hk/services/ai-automation


參考來源

  1. Hugging Face 模型卡 inclusionAI/Ling-3.1-flash(MIT;規格與 SGLang/vLLM 配方):https://huggingface.co/inclusionAI/Ling-3.1-flash
  2. Hugging Face README 原文:https://huggingface.co/inclusionAI/Ling-3.1-flash/blob/main/README.md
  3. TechNode:Ant Group open-sources 560-billion-parameter Ling-3.1-flash AI model(2026-10-16):https://technode.com/2026/10/16/ant-group-open-sources-560-billion-parameter-ling-3-1-flash-ai-model/
  4. SGLang Ling-3.1-flash cookbook(模型卡外鏈):https://docs.sglang.io/cookbook/autoregressive/InclusionAI/Ling-3.1-flash

Related services & products