輝達/官方:開源 Nemotron 3.5 Super VL 與 Bolt——一千二百億參數代理模型,由資料中心貫穿桌面可自託管

重點摘要

輝達於二零二六年十月十五日在官方 Blog 公布 Nemotron 3.5 系列擴充:開源一千二百億參數的 Super VL,並同步推出面向邊緣與本機的 Bolt 型號,覆蓋由大型企業伺服器到桌面/邊緣裝置的代理式部署。官方強調模型可後訓練、可在自有基礎設施運行,並以開源權重、資料集與訓練配方降低對封閉前沿模型的依賴。來源真實性已驗證:以下事實均直接核對自該 NVIDIA Blog 原文,不另加未經核對數字。

輝達/官方:開源 Nemotron 3.5 Super VL 與 Bolt——一千二百億參數代理模型,由資料中心貫穿桌面可自託管

輝達於二零二六年十月十五日在官方 Blog 公布 Nemotron 3.5 系列擴充:開源一千二百億參數的 Super VL,並同步推出面向邊緣與本機的 Bolt 型號,覆蓋由大型企業伺服器到桌面/邊緣裝置的代理式部署。官方強調模型可後訓練、可在自有基礎設施運行,並以開源權重、資料集與訓練配方降低對封閉前沿模型的依賴。來源真實性已驗證:以下事實均直接核對自該 NVIDIA Blog 原文,不另加未經核對數字。

對香港企業資訊長與私有 AI 團隊而言,這條產品線把「常駐代理」與「資料不出境/可自託管」寫進同一開源路線:Super VL 對準高流量多模態代理工作流,Bolt 則把代理能力壓進本機記憶體預算。下文整理型號分工、技術機制,以及對亞洲企業落地私有代理的含義。

輝達/官方:開源 Nemotron 3.5 Super VL 與 Bolt——一千二百億參數代理模型,由資料中心貫穿桌面可自託管

二○二六年十月十五日,NVIDIA Blog 發表《Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models》。文章指,輝達當日發布開源 Nemotron 3.5 Super VL(一千二百億參數),並加入兩款邊緣型號:Nemotron 3.5 Bolt 74B-A9B 24GB(平衡智能與每 GB 速度,服務本機代理負載)與 Nemotron 3.5 Bolt E4B 4GB(優化每 GB 智能,服務快速對話代理)。官方寫明 Super VL 與 Bolt 74B-A9B 即日可用,Bolt E4B 預定 十月二十三日推出。來源真實性已驗證:本文以該官方網誌為主要事實來源改寫,不複製全文,亦不引用第三方未核對基準以外的數字。

一、核心事件:一條產品線覆蓋伺服器到邊緣

技術細節

官方把三款開源模型定位為覆蓋「代理部署完整區間」:由大型企業伺服器,下至邊緣裝置與本機硬體。任何希望在 NVIDIA 基礎設施上運行代理的組織,理論上可按層級選到對應的開源、優化模型,而不必在能力與可部署性之間二擇一。

產品族譜方面,Super VL 與 Bolt 加入既有的 Lightning 與 Ultra:Lightning(八月發布)處理高吞吐量負載;Ultra 處理最困難的推理任務;Bolt 則把智能帶到邊緣。

Nemotron 3.5 Super VL 與 Nemotron Coalition 合作打造。官方指其在多模態代理任務(指令遵循、工具使用、多步業務流程、視覺理解)上的準確度,可與輝達最大推理模型相當,但參數量約為其五分之一;並稱其為同階最快的開源代理模型——相對同階次佳可達約 五倍吞吐,有助企業代理在橫跨數日以至數週的工作流中更快完成高流量任務。與封閉前沿模型不同,組織可在自有資料上後訓練 Super VL、部署於自有基礎設施,並監督所建系統。

Nemotron 3.5 Bolt 方面,74B-A9B 24GB 設計在 NVIDIA RTX/DGX Spark 上本機執行日常代理任務,採原生 2-bit 量化以塞進 24GB 記憶體,並可與其他應用並行。官方指使用者可把專案委派給常見本機 agent harness(由網上研究、寫作到除錯程式),而無須把負載送上雲端;並稱其在 PinchBench 同階開源模型中排名第一、在 BrowseComp 開源模型中排名第二。Bolt E4B 4GB 則面向 GeForce RTX、Jetson 及 RTX/DGX Spark 上的實體與對話代理,結合自然對話與多輪代理能力。

二、技術原理深度解析

1. 多模態「看得見」的代理工作負載

官方把 Super VL 的視覺語言能力對準代理實務常見輸入:光學字元辨識、表格、圖表,以及視覺文件中的結構化資訊。模型可處理網頁、擷取文字、讀取圖表,並由 PDF 等文件得出洞見;文字與視覺理解合於單一模型,令代理不必在不同系統之間轉送任務,脈絡可隨文件→資料→決策一路延續。

2. 開源權重、可後訓練與資料主權

官方強調開放與可定制互相強化:模型附帶開源權重、開源資料集與訓練配方。控制分兩向——組織可按保安與資料駐留要求選擇運行位置;亦可選擇可自行適配的模型,而非受供應商限制。原文舉例:保險業可定制代理反覆掃描索償以尋找欺詐標記;金融服務可按機構自有放貸準則審視信用並標示活動——模型留在現場,資料保持私密。定制途徑包括 NVIDIA NeMo、Python 管線與開源資料集。

訓練規模(官方披露):Super VL 在預訓練與持續預訓練合計約 二十六兆 tokens,其後以約 三百八十萬 樣本後訓練,並在數十個環境做強化學習。輝達亦在 Hugging Face 釋出涵蓋代理工具使用、金融、指令遵循、長上下文、公平性與視覺語言理解等開源資料集,以及 NeMo Gym 中的強化學習環境。

3. 生產封裝與服務效率

NVIDIA NIM 把模型封裝為生產就緒微服務,附效能優化與經驗證設定,並提供企業級支援;官方指每兩週刷新保安修補與效能改進。在 NVIDIA Dynamo 上運行時,官方稱可服務多達約 八倍 使用者,並降低約 百分之八十五 延遲。取得途徑包括 Hugging Face、Open Router、ModelScope 社群,以及 NVIDIA NIM。硬體覆蓋 DGX Spark、DGX Station、RTX PRO/RTX(桌面本機智能)、Jetson(邊緣),以至資料中心與雲端。Bolt 74B-A9B 24GB 已上 Hugging Face,並支援 llama.cpp、Ollama、LM Studio、Unsloth 與 vLLM;官方亦指其為即將於十月十六日到貨的 NVIDIA RTX Spark 筆記型電腦而建。

4. 行業後訓練與平台整合(官方點名)

原文列舉多家組織正把 Super VL 後訓練到自有資料、工具、政策與工作流,例如:Scale AI 為 Skydance 供應商信用財務代理、為 EY 併購盡職審查代理後訓練;AfterQuery 為 Hebbia 信用協議分析定制;AI21 與 Alice 用於網絡攻擊韌性;Mercor 以 APEX-SWE 編碼基準後訓練編碼代理;ModelScope 經 ms-swift 支援微調。其他點名包括 Ramp(金融文件智能)、Dream(主權式資安研究)、Lila Sciences、R1(醫療索償與營收週期)等。平台整合方面則提到 Atlassian(跨 Jira/Confluence 的代理搜尋)、CrowdStrike(企業資安藍隊代理)、Dassault Systèmes、Perplexity、Salesforce Missionforce Operations,以及與 Synopsys 半導體設計驗證軟體互通等——以上均為官方文內表述,實際落地範圍仍以各企業自身披露為準。

四、日常應用場景

1. 開發者與技術團隊

對已建本機 agent harness 或評估 Ollama/vLLM/llama.cpp 的團隊,Bolt 提供「塞進 24GB、可並行其他應用」的開源選項;Super VL 則適合需要多模態文件理解與工具呼叫的長跑代理。可先在非生產環境用開源權重驗證工作流,再決定是否改走 NIM 生產封裝。

2. 企業與隱私敏感行業

重點在於 可後訓練+可自託管:金融、專業服務、醫療與政府相關流程若不能把客戶文件送出境外,開源權重與現場部署路徑較易對齊內部政策。原文亦以保險欺詐掃描、放貸準則審核作情境說明——企業仍須自行補上評估、審計與人類覆核,模型發布本身不等於合規證明。

3. 一般用戶

一般消費者不會直接下載 Super VL;較可能接觸到的是筆電/工作站上的本機助手,或企業內部工具改以代理處理文件與工單。Bolt E4B 對準對話與嵌入式介面,屬裝置端體驗層,而非消費雲端聊天產品本身。

4. 香港與亞洲市場視角

香港金融、專業服務與受規管行業對資料駐留與模型可控性要求較高;Nemotron 3.5 把「開源代理」從資料中心一路拉到 RTX/DGX Spark 桌面,讓本地團隊可在自有硬體上做概念驗證,再決定是否擴至機房或私有雲。亞洲供應鏈與製造場景亦可關注多模態文件(圖表、PDF、網頁)單模型處理,減少多系統轉送。硬體門檻與電力/散熱成本仍在:沒有對應加速卡的團隊,應先評估雲端 NIM 或託管方案,而非假設「開源即零成本」。

五、專業評價與潛在考量

優勢

  • 官方、開源、產品線分層清楚(Super VL/Bolt/既有 Lightning/Ultra),對企業採購與架構分層友善。
  • 明確對準常駐代理、多模態文件與工具使用,而非純聊天基準行銷。
  • 開源權重+後訓練+現場部署敘事,貼合資料主權與私有 LLM 需求。
  • 提供 NIM/Dynamo 等生產路徑,以及 Bolt 本機生態(Ollama、vLLM 等)雙軌。

需要留意的地方

  • 「五倍吞吐」「八倍使用者/百分之八十五較低延遲」等為官方相對同階或特定堆疊的表述,採購應以自有負載實測為準。
  • 重度依賴 NVIDIA 硬體與軟體棧(RTX/DGX/Jetson、NeMo、NIM、Dynamo);異質加速或純 CPU 環境要另計移植成本。
  • 行業客戶與整合名單為供應商披露,不代表香港讀者可即時取得相同方案或授權條款。
  • 開源與可定制降低供應商鎖定,但企業仍須自行負責資料管治、提示注入防護、輸出審核與營運監控。

結語

Nemotron 3.5 Super VL 與 Bolt 把輝達開源代理模型從資料中心延伸到桌面與邊緣,並以可後訓練、可自託管作為核心賣點。若香港團隊正評估「常駐代理」而又必須守住資料邊界,宜先核對硬體層級與 NIM/本機運行路徑,再以內部文件與工具鏈做小規模後訓練試驗。

如需在香港部署類似私有 AI/企業私有 LLM(年費 HK$88,000 起;Dataset → QLoRA/LoRA → 私有 API,強調數據可控),可參考 YSK Limited 的企業私有 LLM 全託管:https://ysk.hk/services/ai-automation。


參考來源

  1. NVIDIA Blog, “Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models,” 2026-10-15: https://blogs.nvidia.com/blog/nemotron-3-5-super-vl/
  2. NVIDIA Developer Blog(官方文內技術文章連結): https://developer.nvidia.com/blog/nvidia-nemotron-3-5-super-vl-powers-specialized-agents-with-multimodal-reasoning/
  3. Nemotron 開源資料集/權重入口(官方文內 Hugging Face 相關連結): https://huggingface.co/collections/nvidia/nemotron-pre-training-datasets

延伸閱讀 · 相關服務與產品