Reflection/Hugging Face:開源 Beam 501B——五百零一億參數 MoE、二十三億激活、百萬上下文;Apache 2.0 面向編程與智能體

Key takeaway

美國新實驗室 Reflection 於十月十六日透過 Hugging Face 正式開源首款模型 Beam:稀疏混合專家架構共五百零一億參數、每 token 約激活二十三億參數,上下文窗口達一百萬 token,授權為 Apache 2.0。官方與 Hugging Face 同步說明,Beam 主打編程與長程智能體工作負載,並提供 BF16、FP8、NVFP4 權重與當日可用的 Transformers、vLLM、SGLang 等推理整合。本文已核對 Reflection 與 Hugging Face 官方說明,來源真實性已驗證。

Reflection/Hugging Face:開源 Beam 501B——五百零一億參數 MoE、二十三億激活、百萬上下文;Apache 2.0 面向編程與智能體

美國新實驗室 Reflection 於十月十六日透過 Hugging Face 正式開源首款模型 Beam:稀疏混合專家架構共五百零一億參數、每 token 約激活二十三億參數,上下文窗口達一百萬 token,授權為 Apache 2.0。官方與 Hugging Face 同步說明,Beam 主打編程與長程智能體工作負載,並提供 BF16、FP8、NVFP4 權重與當日可用的 Transformers、vLLM、SGLang 等推理整合。本文已核對 Reflection 與 Hugging Face 官方說明,來源真實性已驗證。

Reflection/Hugging Face:開源 Beam 501B——五百零一億參數 MoE、二十三億激活、百萬上下文;Apache 2.0 面向編程與智能體

美國初創實驗室 Reflection 於二零二六年十月十六日宣布,首款開源權重模型 Beam 已上架 Hugging Face,授權採 Apache 2.0。官方與 Hugging Face 技術文章指出,Beam 為稀疏混合專家(Mixture-of-Experts)語言模型,總參數約五百零一億、每 token 激活約二十三億,文本輸入輸出,上下文窗口為一百萬 token,定位於進階編程、推理與長程智能體任務。來源真實性已驗證:已對照 Reflection「Beam is now available」與 Hugging Face「Welcome Beam」官方頁,以及模型卡 reflection/Beam-1.0-501B-A23B。

企業與開發團隊若希望在自有硬體、私有雲或主權基礎設施上運行前沿規模模型,並可做領域微調,Beam 屬於近期公開權重市場上值得納入評估的新選項之一。

一、核心事件:Reflection 首發開源權重 Beam

官方重點

根據 Reflection 與 Hugging Face 同步發佈的說明:

  • 架構:稀疏 MoE;總參數約 501B,每 token 約 23B 激活;解碼器 52 層、隱藏維 5120;多數層採滑動窗口注意力(約 512 token),每隔六層及最後一層為全局注意力,共約 43 層滑窗、9 層全局。
  • 專家路由:首 3 層為稠密 SwiGLU;其餘 49 層為 MoE,每層 256 個專家,每 token 路由 8 個專家;路由採類似 DeepSeek-V3 的分組限制方案(官方寫明同組規模、無 shared expert)。
  • 上下文:混合注意力設計下,官方估算全上下文(1M)時 KV cache 增長約為「全層全局」方案的約六分之一量級(Hugging Face 文內以表格比較 32K/128K/1M 的 cache 體積)。
  • 權重格式:BF16(safetensors 約 1 TB)、FP8,以及面向 NVIDIA Blackwell 的 NVFP4(官方稱可將約 1 TB 級 BF16 壓至約 280 GB 量級並保留大部分品質)。
  • 推理與後訓練生態:當日支援 Transformers、vLLM、SGLang,並提到 Unsloth、Axolotl、NVIDIA Dynamo 等;另提供 speculative decoding drafter(DFlash2)與推理/SFT/RL 配方。
  • 推理力度:支援 low/medium(預設)/high/xhigh/max 五檔;可 preserve_thinking 跨輪保留推理軌跡,並具工具呼叫專用語法。
  • 授權:Apache 2.0。
  • 配套:Reflection 開源友善的 Rust/Python 智能體 harness「Mirror CLI」;並稱與逾 40 家夥伴/整合共同構成其所謂「智能體開放作業系統」生態(推理、容器、微調與部署路徑)。

Reflection 亦披露訓練側規模(屬官方自述、非第三方審計):約以 10.5K 張 NVIDIA GB300 進行約四周高算力強化學習,產生逾 1 億 次 rollout、訓練與評測約 13 億 個 sandbox;最大上下文訓練長度提及 256K token。上述數字僅作理解其投入量級,不應視為獨立基準成績。

Hugging Face 基準表(官方提供)

Hugging Face 文章轉載 Reflection 團隊在不同精度下的部分結果(BF16/FP8/NVFP4 接近),例如:

類別 指標(摘錄) Beam BF16
編程/終端 Terminal Bench v2.1 80.1%
編程 SWE Bench Verified 81.6%
編程 SWE Bench Pro v1 66.1%
推理 AIME 2026 97.7%
推理 GPQA Diamond 90.6%
工具 MCP Atlas 80.8%

官方並強調相對部分更大參數量級模型,Beam 在部分高階推理基準上可達相近分數但推論算力需求更低(其效率比較方法見 Reflection 技術文,屬估算而非完整 TCO)。基準會隨提示、工具鏈與 harness 改變,讀者應以模型卡與自行評測為準。

二、技術原理深度解析

Beam 的商業可部署性,關鍵不在「參數總數最大」,而在 激活參數量相對可控 與 長上下文記憶體增長被刻意壓低:

  1. 稀疏 MoE:記憶體需承載約 501B 級權重,但每 token 只跑約 23B 激活路徑,官方定位為「以較小模型的速度、保留大模型容量」。
  2. 混合注意力:多數層只看固定窗口,少數全局層覆蓋全序列,使 1M 上下文的 KV cache 增長遠低於全全局設計,較利於長倉庫、長對話與多工具軌跡。
  3. 殘差縮放:官方描述以隨深度調整的殘差權重,令表徵尺度較穩定(每子層輸出與輸入嵌入在最終隱狀態中權重更均衡),屬其架構辨識特徵之一。
  4. 部署精度階梯:BF16 完整精度、FP8 面向 Hopper/Ampere 等、NVFP4 面向 Blackwell,讓企業可依 GPU 世代選「品質—顯存」折衷。
  5. 可控推理長度:訓練時以長度懲罰鼓勵「能解就短」,再以多檔 reasoning effort 讓線上任務在成本與正確率之間切換——對按 token 計費或自建叢集的團隊都直接相關。

對智能體場景,Mirror CLI 與 OpenCode、Hermes、Pi 等 harness 的互通,意味著「模型權重」與「代理執行環境」被分開交付:企業可自架權重,也可先用 Reflection/夥伴託管端點做概念驗證。

四、日常應用場景

1. 開發者與技術團隊

可用於倉庫級程式碼問答、終端任務、多檔編輯與工具呼叫工作流;結合 vLLM/SGLang 自架 API,或接既有 agent harness。長上下文有利一次帶入較大程式庫切片與執行日誌。

2. 企業與隱私敏感行業

法律、金融、醫療等受 NDA 或數據出境限制的機構,可評估將開源權重部署於境內/專用叢集,再以領域資料做 SFT 或 RL 後訓練。Apache 2.0 對商業再分發與內部客製化相對友善,但仍須自行完成合規、安全與紅隊測試(官方另提 Safety Technical Report,細節以 Reflection 文件為準)。

3. 一般用戶

一般消費者較難直接「本機跑」501B 級權重;較實際路徑是透過託管 API、雲端推理夥伴,或等待社群量化/蒸餾變體。Hugging Face 亦提到以 Hub 專案爭取積分等社群活動,屬開發者向。

4. 香港與亞洲市場視角

香港企業若已規劃私有 LLM 或「數據不出境」方案,Beam 這類可自架、可微調的開源權重,可納入模型選型短名單,並與既有 GPU 租用、地端機房或主權雲策略對齊。亞洲團隊亦需留意出口管制、雲端區域與供應鏈(例如 Blackwell 供應與 NVFP4 路徑)對交期與成本的影響。

五、專業評價與潛在考量

優勢

  • 開源權重+Apache 2.0,利於企業自架與客製。
  • 501B/23B 激活與 1M 上下文的組合,對編程與智能體長任務有明確產品敘事。
  • 當日即接主流推理棧,降低「有權重無服務」摩擦。
  • 多精度檢查點與可控推理力度,利於成本治理。

需要留意的地方

  • 完整 BF16 體積約 1 TB 級,自架門檻高;實務多依 NVFP4/FP8 與多卡並行。
  • 官方基準與 RL 規模為實驗室自述,跨模型橫評須統一 harness 與提示協議。
  • 「逾 40 夥伴」生態仍在起步,生產級 SLA、可觀測性與安全護欄需各自驗證。
  • 開源權重同時降低濫用門檻,企業需配套存取控制、審計與資料外洩防護。

結語

Reflection 以 Beam 切入開源權重市場,把「前沿規模 MoE+長上下文+編程/智能體」打包成可下載、可自架、可後訓練的產品線,並以 Hugging Face 與多個推理/微調生態作為分發面。對香港與亞洲需要私有化部署的團隊而言,這類模型擴大了「不全押閉源 API」的選項空間。

若貴司希望在香港以私有基礎設施部署類似開源權重、完成領域資料集與 QLoRA/LoRA 微調,並對外提供相容 API,可參考 YSK Limited 的企業私有 LLM 全託管(年費 HK$88,000 起,Dataset → 微調 → 私有 API,強調數據不出境):https://ysk.hk/services/ai-automation


參考來源

Related services & products