Cerebras 於二零二六年十月二十二日在官方網誌說明，如何把約三兆參數級 frontier 模型拆到多片 WSE-3T 晶圓級晶片上推理：單片晶上記憶體約四十四 GB，權重卻達 TB 級；以開源模型 Kimi K3（約三兆參數、六十九層線性注意力加二十四層稠密層）為例，在四位元權重量化與八位元 KV 快取假設下，每層約十六 GB，線性層每片可放兩層、稠密層每片一層，合計約五十九片晶圓串成管線，目標達到每秒約一千至二千以上 token。本文已核對 Cerebras 官方網誌原文要點，來源真實性已驗證。

Cerebras／官方：公開 WSE-3T 多晶圓管線部署三兆參數級模型——以 Kimi K3 為例約五十九片晶圓；目標每秒逾一千至二千 token

對需要低延遲代理與私有推理的香港企業而言，這篇不是又一次「更大參數」行銷，而是把晶圓級推理的記憶體切分、層映射與併發管線寫成可複核的工程說明，方便對照 GPU 叢集的權重搬移與批次等待成本。

一、事件核心：官方解答「TB 級權重如何塞進四十四 GB 晶圓」

已核對的官方說法（Cerebras Blog，2026-10-22）

根據 Cerebras 網誌 How Cerebras Deploys Trillion-Parameter AI Models（作者 Sarah Chieng；頁面標註 Oct 22 2026，meta 時間 2026-10-22T18:58:30Z）：

1. 問題設定：單片 Cerebras WSE-3T 晶圓晶上記憶體約 四十四 GB；兆參數級 frontier 模型的權重單獨就需要 TB 級 容量。
2. 目標效能：把大型 frontier 模型拆到多片 WSE-3T，以跑出多兆參數級模型約 每秒一千至二千以上 token。
3. 示範模型：開源 Kimi K3，約 三兆參數；架構為 六十九 層線性注意力（linear-attention）加 二十四 層稠密（dense）層。
4. 基準數字（文中引用）：Terminal-Bench 2.1 約 百分之八十八點三（對照 GPT-5.6 Sol 約百分之八十八點八）；BrowseComp 約 百分之九十一點二（對照 GPT-5.6 Sol 約百分之九十點四）。文中以此說明其編碼與代理能力達 frontier 級。
5. 示範假設：平均請求長度假設 二十五萬六千（256k）token；權重 四位元 量化（文中指類似 Hugging Face 實作）；KV 快取 八位元。
6. 晶圓數：每層約 十六 GB；稠密層每片一層（餘下 SRAM 留給該層 KV）；線性層每片兩層（二 × 十六 GB＝三十二 GB）。以六十九層線性、二十四層稠密計算，文中給出總晶圓數 三十五＋二十四＝五十九。
7. 互連：編譯器把層映射到晶圓區域後，執行期以管線讓 token 在晶圓間流動；超低延遲情境下主要只傳 activation，可經 RDMA over Ethernet，文中稱約 每跳兩微秒。
8. 權重不動：因單層約十六 GB、單片四十四 GB SRAM，通常整層可放在晶上；多數情況下權重不必搬移，層也不必再跨片切開，只有 activation 跨片。

文中並澄清常見誤解：請求雖須依序經各階段，但管線會同時塞入不同請求——階段三處理請求 A 時，階段二可處理 B、階段一處理 C；生產環境會用更細的階段與 micro-batch，在途請求數約為「階段數 × micro-batch 大小」。併發上限由稠密層晶圓上留給 KV 的晶上記憶體決定；文中給出計算步驟，但具體併發整數在頁面公式圖示中，本文不另推算。作者強調更有意義的指標是在相同輸出生成速度下的 每兆瓦總 token 吞吐。

與近期相關報道的差異

二零二六年十月二十四日 YSK News 曾報道 Kimi 官方推出 K3.1 Pro 開源權重（約三兆參數級、長上下文）（見既有報道）。本篇主體是 Cerebras 如何在 WSE-3T 上部署 這類規模模型的硬體／執行期方法，並以 Kimi K3 作說明例，並非重複模型發佈稿本身。

二、技術深度：層切分、管線與「權重留在原位」

官方說明可概括為三步工程：

1. 算層大小：三兆參數以四位元存放後，把整份參數負載除以 九十三 層（六十九＋二十四），得到每層約十六 GB。
2. 按層型配置晶圓：稠密層要為每個在途請求保存鍵／值，故一層一晶圓並預留 KV；線性注意力對每個請求只保留固定大小狀態、與上下文長度無關，故可兩層共一片。
3. 串成流水線：晶圓像裝配線工位——各站權重留在原地，請求的中間結果向前傳。Wafer 1 跑前兩層後把 activation 交給 Wafer 2，如此直至末片產出下一個 token。

相對常見 GPU 推理裡「大批次對齊、權重反覆進出高頻寬記憶體」的畫面，文中強調的賣點是：權重常駐晶上 SRAM、跨片主要搬 activation、並以管線重疊多請求。延伸到更大模型時，作者寫法是同一套：算權重與請求狀態、分到更多晶圓、再接成管線——每加一片就多一份算力與晶上記憶體。

三、日常應用（含香港）

香港金融、法律、醫療與客服場景若要跑長上下文代理、程式碼代理或內部知識問答，往往卡在「延遲、併發與帳單可否預測」，而不只是「能不能下載開源權重」：

1. 私有／合規推理：評估供應商時，可要求對方說明權重是否常駐、跨節點搬的是權重還是 activation、以及在目標輸出速度下的每瓦吞吐——與本篇公式同一套問題。
2. 代理與工具呼叫：文中以 Kimi K3 的編碼／瀏覽基準作 frontier 對照；企業落地仍須自備工具沙箱、審計日誌與資料不出境策略。
3. 容量規劃：五十九片級管線屬供應商側示範規模；香港中小企業更常見路徑是先以相容 OpenAI API 的私有閘道托管較小領域模型，再按延遲與併發升級硬體層。
4. 開源權重＋硬體敘事分開看：模型發佈（參數、授權、基準）與推理基建（晶圓／GPU 映射）是兩份合約；採購時勿把「能下載權重」等同「已具備可服務水準的吞吐」。

若要評估香港私有 LLM 託管、推理閘道與人工智能自動化落地，可參考 YSK Limited 相關服務（https://ysk.hk/services/ai-automation）。企業私有 LLM 全託管年費方案由港幣八萬八千起等細節，以 https://ysk.hk/llms.txt 及官網為準。

四、專業評價

較清晰之處

• 官方以單一開源模型走完整條「層大小 → 晶圓數 → 互連 → 單請求／多請求」鏈，數字假設（四位元、八位元 KV、256k）寫明，便於工程複核。
• 明確區分稠密層與線性注意力對 KV／狀態記憶體的不同需求，避免把「一層一片」誤套到所有架構。
• 把評價重心拉到「相同輸出速度下的每兆瓦 token 吞吐」，比只報尖峰 tokens/s 更接近採購語言。

仍須注意

• 五十九片、每秒一千至二千以上 token 均綁定文中示範假設與 Kimi K3 映射；換成其他量化、上下文或層型比例會變。
• 頁面部分算式以圖示呈現，本文只轉述已寫成文字的約十六 GB、三十五＋二十四＝五十九、約兩微秒／跳等，不另行推算未曝光的併發整數。
• 基準分數為文中引用之對照，並非本篇獨立重跑；採購或對外宣傳時應回到原始基準條件。
• Cerebras 為硬體／雲端推理供應商官方技術文，落地香港仍須計算電力、機房、維運與資料主權，而非假設「貼上晶圓敘事即可達標」。

結語

Cerebras 這篇官方說明，把「三兆參數級模型如何在四十四 GB 晶圓上跑起來」拆成可檢查的映射與管線：以 Kimi K3 為例約五十九片 WSE-3T、權重常駐、activation 跨片，並瞄準每秒約一千至二千以上 token。對香港團隊而言，與其追下一則參數紀錄，不如用同一套問題去審自己的私有推理架構——權重在哪、跨節點搬什麼、目標延遲下每瓦能換多少可用 token。

若要評估領域模型私有託管、推理成本與人工智能自動化方案，歡迎查看 https://ysk.hk/services/ai-automation。

參考來源

1. Cerebras Blog：How Cerebras Deploys Trillion-Parameter AI Models（Sarah Chieng，2026-10-22）— https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras
2. YSK Limited llms.txt（產品／服務與價目摘要）— https://ysk.hk/llms.txt
3. YSK 人工智能自動化／私有 LLM — https://ysk.hk/services/ai-automation