Google／官方：推出 TPU 8tx 與 8i Max——硬件層機密推理，相對 8t 延遲最高可降約一半；雙晶片令運算、SRAM 與 HBM 頻寬倍增

重點摘要

Google 官方於十一月九日宣布，把第八代 TPU 產品線再擴兩款系統：TPU 8tx 專攻受監管企業與政府的機密推理，以硬件層在資料使用期間隔離敏感數據與模型權重，並稱相對 TPU 8t，延遲最高可降低約一半、性能代價接近零；TPU 8i Max 則把兩枚低延遲 8i 晶片封入同一封裝，令運算、靜態隨機存取記憶體與高頻寬記憶體頻寬皆倍增，亦號稱同代最高機架密度。官方指這是首次同一年推出四款 TPU 系統，現時客戶接近一百個。

Google／官方：推出 TPU 8tx 與 8i Max——硬件層機密推理，相對 8t 延遲最高可降約一半；雙晶片令運算、SRAM 與 HBM 頻寬倍增

Google 官方於十一月九日宣布，把第八代 TPU 產品線再擴兩款系統：TPU 8tx 專攻受監管企業與政府的機密推理，以硬件層在資料使用期間隔離敏感數據與模型權重，並稱相對 TPU 8t，延遲最高可降低約一半、性能代價接近零；TPU 8i Max 則把兩枚低延遲 8i 晶片封入同一封裝，令運算、靜態隨機存取記憶體與高頻寬記憶體頻寬皆倍增，亦號稱同代最高機架密度。官方指這是首次同一年推出四款 TPU 系統，現時客戶接近一百個。

Google／官方：推出 TPU 8tx 與 8i Max——硬件層機密推理，相對 8t 延遲最高可降約一半；雙晶片令運算、SRAM 與 HBM 頻寬倍增

Google 公司新聞網誌與 Google Cloud 官方博客同步刊登由人工智能與基礎設施高級副總裁兼首席技術專家 Amin Vahdat 署名的公告，日期為二零二六年十一月九日（雲端博客標示十一月十日，並註明原文最先刊於 Google 新聞網誌）。本刊已核對兩篇官方正文及同日相關配套文章，來源真實性已驗證。下文說明兩款新系統如何對應「代理人時代」的機密運算與超長上下文，並梳理同步開源與正式可用的軟件層更新。

一、核心事件：同代四款 TPU 首次同一年亮相

Google 回顧，張量處理器（TPU）最初是為語音辨識與語言翻譯等內部需求而設計，至今已發展至第八代。用途涵蓋四類：訓練與服務自家 Gemini 模型、代理人工作負載、向 Google Cloud 客戶提供雲端服務，以及近期容許客戶把 TPU 直接部署到自有數據中心。官方稱 TPU 已是快速增長的業務，客戶接近一百個，包括前沿實驗室、交易公司、零售商與大學等。

今年四月 Google Cloud Next，Google 在同一代推出兩款專門系統：TPU 8t 面向大規模訓練，TPU 8i 面向即時推理。官方指，相對上一代 TPU，TPU 8t 的訓練性能最高可提升約 2.7 倍，TPU 8i 的推理性價比則高出約八成。上述數字屬四月已公布的 8t／8i 對上一代比較，並不直接等同今日新公布的 8tx 與 8i Max 性能。

十一月九日的公告再加入兩款系統，使第八代組合變成四款：TPU 8t、TPU 8i、TPU 8tx 與 TPU 8i Max。官方強調，這是該公司首次在同一年內推出四款 TPU 系統。驅動因素有二：運算正由「人類尺度」轉向「代理人尺度」，企業需要能在模型龐大上下文中推理的加速器；同時，部分受嚴格監管的客戶要求為特定工作負載提供專門加密能力。

技術細節

Google 刻意區分「新晶片」與「新系統」。前者涉及在矽晶圓上布置數十億顆電晶體，並受物理定律與漫長製造周期約束；後者則是圍繞既有晶片重組運算、網絡與儲存，包括封裝、高速記憶體、光網絡與安全機制。官方稱，正因把 TPU 設計成「人工智能超級電腦」（AI Hypercomputer）的模組化積木，才能在數月而非數年內交付專門超級電腦。

TPU 8t 被定位為大規模基礎模型的訓練主力，強調每瓦能源所交付的「有效智能」（goodput）。TPU 8i 則被稱為推理引擎，官方指其可把晶片間通訊延遲最高削減約一半。今日新增的兩款，是在上述基礎系統上再配置，分別處理硬件層數據安全，以及百萬 token 級上下文規模。

二、技術原理深度解析

TPU 8tx：在使用中仍隔離敏感數據與權重

TPU 8tx 是第八代第三款系統，針對安全與機密推理優化，亦適用於小規模訓練。目標客戶是受監管企業與政府，讓前沿或專有模型、自主代理人與最敏感數據一併運行。

官方解釋常見缺口：數據在儲存或網絡傳輸時通常已加密，但電腦處理時往往要在記憶體中解鎖。TPU 8tx 建基於與 TPU 8t 相同的矽晶片，並配對第五代 AMD EPYC 主機處理器，把安全直接做進硬件層，使敏感數據與模型權重即使在使用中仍受保護與隔離。它採用原先為即時推理設計的低延遲 Boardfly 網絡，官方稱相對 TPU 8t，延遲最高可降低約一半，性能代價接近零。

由於把訓練級運算與快速推理網絡放在同一系統，機構可同時運行並客製模型：用私有數據微調、把大模型蒸餾成較小模型，以及以強化學習訓練代理人，而無須在不同叢集之間遷移敏感數據。

TPU 8i Max：雙晶片封裝對抗記憶體牆

當數十個人工智能代理人同時處理整份軟件程式庫或長時間影片，記憶體頻寬往往成為瓶頸。TPU 8i Max 把兩枚低延遲 TPU 8i 晶片封入同一封裝，令運算、靜態隨機存取記憶體（SRAM）與高頻寬記憶體（HBM）頻寬皆為 TPU 8i 的兩倍，減少大型工作負載停頓。官方又指，它在既有機架佔用面積內容納兩倍矽晶片，可提高每平方呎與每瓦的運算密度，並稱其具備同代最高機架密度，對應百萬 token 級上下文。

同步軟件：開源狀態層、閒置暫停與拓撲切片

公告用相當篇幅處理「晶片外的電腦」。重點包括：

  • 上月已開源 TorchTPU，使 PyTorch 程式碼與 Hugging Face 模型可在 TPU 上原生運行，並為 vLLM、SGLang 等開源推理引擎提供現成後端。新推出的開源 TPU 代理套件現為預覽，可接入 Claude Code、Cursor 與 Google Antigravity 等編程工具，以自然語言協助上線、診斷瓶頸並自動調校核心。開源 XLA Serving Engine 則容許以 Python 訓練，再在低延遲 C++ 執行期於 TPU、GPU 與 CPU 上直接提供服務。
  • 官方稱，在測試代理人編程與長上下文的 InferenceX 與 AgentX 基準上，原生 vLLM-TorchTPU 軟件堆疊錄得領先的性價比，且優勢延伸至多款前沿開源模型與開源服務堆疊，同時維持高模型準確度；公告並未公布具體分數。
  • 新的 Agent Compute Engine 會在代理人等候資料庫、外部工具或人工回饋而暫停數秒以至數小時時，於毫秒級自動暫停閒置工作階段，並把工作記憶移離晶片，以降低營運基礎設施成本。
  • 同步開源的 TPU Sync 是 TPU 叢集的模型狀態層，把晶片高頻寬記憶體、主機動態隨機存取記憶體、共享儲存與數據中心網絡組成協同設計的記憶體層級，可於毫秒級把龐大鍵值快取分層移離晶片，並在分離的預填與解碼節點之間串流上下文；官方稱同步強化學習權重後，鍵值傳輸延遲與首個 token 時間（TTFT）可削減逾九成。
  • Cloud Pathways 已在 Google Kubernetes Engine（GKE）正式可用，把支撐 Gemini 的 Google DeepMind 執行期交給雲端客戶，以單一控制器與 pathwaysutils 把多個切片上的大規模 TPU 系統編成彷彿一部本機，用於預訓練、強化學習與多主機推理，並提供並列 Python sidecar、分鐘內切片熱置換與彈性重新分片。
  • GKE 動態切片亦已正式可用，以光電路交換把實體硬件供應與邏輯切片解耦，可即時把 TPU 立方組成更大拓撲（super-slicing）或分割成較小隔離工作負載（sub-slicing）。官方稱此舉可把作業啟動時間最高縮短約五倍，故障恢復最高加快約 4.5 倍。

Google 並提到，下一代基礎設施已借助 DeepMind 的 AlphaChip 強化學習系統，以及 Gemini 在數小時而非數週內產出晶片布局。

四、日常應用場景

1. 開發者與技術團隊

若團隊已用 PyTorch 或 Hugging Face 模型，官方敘事是減少為遷到 TPU 而改寫程式碼的成本，並可用預覽中的代理套件加速上線與核心調校。長上下文代理人、整庫編程代理，以及需要把鍵值快取移離加速器的推理服務，較對應 TPU 8i Max 與 TPU Sync。須注意：TPU 代理套件仍為預覽，公告亦未交代 8tx／8i Max 硬件本身的區域供應時間表或價目。

2. 企業與隱私敏感行業

銀行、保險、醫療、政府及須遵守嚴格保密協議的行業，長期卡在「模型要看見敏感數據，但處理中記憶體往往明文」的矛盾。TPU 8tx 把隔離做到硬件層，並容許在同一系統微調、蒸餾與強化學習，減少跨叢集搬運數據。這對受監管機構評估公有雲上的代理人試點，具直接參考價值；同時仍須自行核對認證、金鑰管理、資料駐留區域與供應商信任邊界，不能把「硬件層機密運算」理解成自動符合所有合規要求。

3. 一般用戶

一般消費者不會直接購買 TPU，但若所使用的搜尋、助手或企業應用改以更長上下文與更多自主代理人運作，後台加速器的密度、閒置暫停與機密推理能力，將影響延遲、電費與資料暴露面。用戶能做的，仍是檢視服務商如何說明數據處理地點與加密範圍，而不是自行配置機架。

4. 香港與亞洲市場視角

香港金融、專業服務與公營機構對跨境數據傳輸、客戶資料及模型權重外洩高度敏感。若企業已把工作負載放在 Google Cloud，8tx 的機密推理與「敏感數據不必在叢集之間搬遷」的設計，對本地合規討論有參考意義；8i Max 的機架密度則關乎亞洲都會區機房空間與電力成本。另一方面，若機構要求訓練與推理數據完全不出境、也不進入公有雲記憶體，雲端機密運算並不能替代本地私有部署，仍須另行評估資料駐留方案。

五、專業評價與潛在考量

優勢

  • 以系統重組而非全新流片回應代理人工作負載，推出節奏較快，並首次在同一年交付四款同代系統。
  • TPU 8tx 直接回應受監管客戶「使用中仍要加密／隔離」的需求，把微調、蒸餾與強化學習留在同一系統，減少敏感數據遷移。
  • TPU 8i Max 以雙晶片封裝同步加倍運算與記憶體頻寬，針對長上下文與多代理人並發的記憶體牆。
  • 軟件配套較完整：TorchTPU、TPU Sync 開源、Cloud Pathways 與 GKE 動態切片正式可用，並以啟動時間與故障恢復的具體倍數說明利用率收益。

需要留意的地方

  • 公告公布的是新系統與軟件能力，並未同時列出 8tx／8i Max 的公開價目、供應區域或正式可用日期；企業不宜把「宣布」等同「香港或亞洲區明天即可下單」。
  • 四月公布的 2.7 倍訓練性能與八成推理性價比，屬於 8t／8i 對上一代的比較，不應用來描述今日新款。InferenceX／AgentX 亦只稱「領先性價比」，未附可覆核分數。
  • 機密運算仍建立在供應商的硬件信任根、認證鏈與營運流程之上；硬件隔離不能自動覆蓋身份濫用、提示注入或供應商內部存取等風險。
  • 即使 PyTorch 與開源推理引擎降低遷移門檻，大規模 TPU 拓撲、編譯器與運維經驗仍可能形成生態系統黏着。
  • Google Cloud 博客把主機處理器寫成「定制 AMD CPU」，與新聞網誌「第五代 AMD EPYC」表述並不完全一致；解讀硬件細節時應以較具體的原文網誌為準，並在採購文件再向供應商確認。

結語

Google 把第八代 TPU 由兩款專門系統擴成四款，核心訊息並非再報一組峰值算力，而是承認代理人工作負載已同時提出兩項硬需求：處理中的敏感數據也要隔離，以及上下文與多代理並發必須突破記憶體牆。TPU 8tx、TPU 8i Max，連同 TPU Sync、Cloud Pathways 與 GKE 動態切片，構成一套「晶片加系統加運行時」的敘事；對企業而言，下一步仍是核對供應時間、區域駐留與機密運算的可驗證範圍，而不是只記住產品名稱。

香港團隊若要把類似代理人工作負載放到受管雲端，並同時處理遷移、隔離與持續營運，可參考 YSK Limited 的雲端遷移與網絡安全服務（https://ysk.hk/services/cloud-security）。若業務要求訓練與推理數據留在本地、百分之百不出境，亦可另行了解企業私有 LLM 全託管（年費港幣八萬八千元起，Dataset 至 QLoRA／LoRA 再提供私有應用程式介面；https://ysk.hk/services/ai-automation）。

參考來源

延伸閱讀 · 相關服務與產品

相關文章