YSK News

標籤 #推理基建

共 1 篇文章

Telegram RSS
Cerebras/官方:公開 WSE-3T 多晶圓管線部署三兆參數級模型——以 Kimi K3 為例約五十九片晶圓;目標每秒逾一千至二千 token

Cerebras/官方:公開 WSE-3T 多晶圓管線部署三兆參數級模型——以 Kimi K3 為例約五十九片晶圓;目標每秒逾一千至二千 token

Cerebras 於二零二六年十月二十二日在官方網誌說明,如何把約三兆參數級 frontier 模型拆到多片 WSE-3T 晶圓級晶片上推理:單片晶上記憶體約四十四 GB,權重卻達 TB 級;以開源模型 Kimi K3(約三兆參數、六十九層線性注意力加二十四層稠密層)為例,在四位元權重量化與八位元 KV 快取假設下,每...