輝達於二零二六年十月二十八日透過官方 Hugging Face 網誌發布開源權重模型 NVIDIA Nemotron 3.5 Transcribe，並同步公開 Granary v2 多語語音數據與可重用整理流水線；同一日 TechCrunch 亦報道該發布。模型把錄音轉錄、說話人歸因、翻譯與音訊問答收進單一檢查點：支援四十種語言轉錄、三十一種語言與英語雙向翻譯、十三種語言說話人標記，單次錄音最長約一小時、最多標記八位說話人。官方數字指其在 Hugging Face Open ASR 英語榜開源權重組平均字錯誤率百分之五點三三居首，Artificial Analysis AA-WER 百分之二點八與約四十億有效參數並列開源前列。本文已核對 NVIDIA 官方 Hugging Face 發布頁與 TechCrunch 報道；來源真實性已驗證。
NVIDIA／官方：開源 Nemotron 3.5 Transcribe——四十語轉錄、說話人標記與翻譯合一；Granary v2 公開約四十六萬小時語料
引言
企業會議錄音、多語客服通話與醫療口述，往往需要的不只是「把聲音變文字」，還要標出誰在說、可否譯成英語、術語是否寫對。Nemotron 3.5 Transcribe 以可提示（promptable）的開源權重模型回應這類需求，開發者可用自然語言指定輸出格式，並選擇在自有 GPU 或託管端點處理音訊。同日公開的 Granary v2 則把訓練用多語語音整理流程與公開清單一併釋出，方便按行業詞彙微調。來源真實性已驗證。
一、核心事件：開源「可提示」多語語音檢查點與數據流水線
技術細節
官方說明，Nemotron 3.5 Transcribe 將轉錄、說話人歸因（diarization）、翻譯與音訊問答整合於同一檢查點，現可於 Hugging Face 與 ModelScope 取得。能力邊界依任務而異：轉錄涵蓋四十種語言；三十一種語言可與英語雙向翻譯；說話人歸因涵蓋十三種語言；音訊問答以英語訓練。錄音長度可達約一小時，說話人標記最多八人，並支援字級時間戳。
基準方面，官方引用多個公開榜單（開源權重組為主）：Hugging Face Open ASR Leaderboard 英語軌道平均字錯誤率（WER）百分之五點三三、居開源權重第一；多語七語平均 WER 百分之四點六二、長篇平均 WER 百分之十點九八，均為該比較中開源最低。Artificial Analysis 的 AA-WER 為百分之二點八，與另一開源模型並列第一，但有效參數約四十億，對比並列者約二百四十億；在佔 AA-WER 指數一半權重的 AA-AgentTalk 語音代理集上，WER 百分之一點八，對照次佳開源百分之二點三。說話人歸因方面，David AI 二十一語 diarization 軌道整體錯誤率百分之十八點二六、十四套系統中最低；VoiceArena 英語全場次比較中，串接最小置換 WER（cpWER）百分之三十二點四、十四套系統第一，刪除率亦明顯低於中位。
架構上，語音編碼器搭配混合 Mamba–Transformer 混合專家語言模型，總參數約三百億、每 token 約四十億有效參數。推論可跑在單一 NVIDIA GPU，涵蓋 Jetson AGX Thor、DGX Spark 以至 Blackwell 資料中心卡；官方以一張 NVIDIA RTX PRO 6000 Blackwell Server Edition、NVFP4 精度、三十秒片段高併發量測，指可在三分鐘內處理一百小時音訊。服務路徑包括 vLLM、本機 NeMo-Speech.cpp，以及 Baseten、DeepInfra、Simplismart 等託管端點。明確限制：面向已錄製音訊，並非即時串流。
Granary v2 屬 Nemotron 語音系列公開清單的一部分，以 NVIDIA NeMo Curator 建置可重用流水線；公開清單涵蓋四十八種語言、十六個來源語料共四十六萬三千零六十二小時，較 Granary v1 的二十五種語言擴充。官方強調這些數字描述數據集發布規模，並非 Transcribe 完整訓練混合或其抽樣權重。流水線為同一錄音產生三種轉錄形態（含口誤的正規化、含口誤的逆文字正規化、去除口誤的清潔版），並可產出短音訊說明、語碼轉換還原、語音落地問答對、情境 ASR 偏置詞與帶品質分的翻譯。醫療案例中，僅靠更佳提示可把完整基準 WER 由百分之三十點八降至百分之二十三點八；再以 LoRA 等流程微調後，對留出說話人的 WER 由最佳提示基線百分之二十二點四四降至百分之十二點一七，相對降幅百分之四十五點八；整段調適約十四 GPU 小時於一張 NVIDIA GB300。
二、技術原理深度解析
「可提示」語音模型的關鍵，是把輸出格式變成指令而非事後腳本：同一段會議錄音，可用「標出每位說話人」「譯成英語」「這次會議做了哪些決定」等自然語言得到不同產物。官方亦建議對陌生術語先在提示中提供上下文偏置（例如醫療縮寫清單），並強調只在音訊支持時才採用該拼寫，之後再決定是否進入微調。
Granary v2 的設計假設是：若訓練目標的書寫形態模糊，模型就難以穩定服從提示。因此流水線分音訊準備、ASR 轉錄（含幻覺檢查與備援模型）、任務標籤生成與高保真過濾等階段，為每筆樣本留下可檢查的品質中繼資料與三種對齊轉錄變體。開發者可在自有授權錄音上重跑 NeMo Curator 管線，或基於公開清單自行下載各語料原始音訊（須遵守原授權）。
領域適配路徑則把「書寫目標」與「合成／真實語音」拆開：例如以「HbA1c」為標籤、以口語拼讀送入語音合成，再混入口音與真實臨床錄音；訓練時變化數字、單位空白與品牌連字規則，部分提示刻意加入近似干擾詞，迫使模型只在聲學證據足夠時採用指定拼寫。最終系統以固定慣例提示加單次模型通行，無需檢索或後處理改寫。這對香港金融、法律、醫療等「術語正確性高於通篇流暢」的場景尤其重要。
四、日常應用場景
1. 開發者與技術團隊
若產品已累積會議或客服錄音，可先以開源檢查點加提示驗證語言與格式，再決定是否以 Granary 風格清單與 NeMo Speech 微調鎖定行業詞表。字級時間戳可用於課堂重播對軸、合規抽樣或代理人語音軌跡覆核；vLLM 部署與本機路徑則方便在私有 GPU 上保持數據邊界。需注意產品若要求「邊說邊出字」，本檢查點並非串流 ASR，應另選串流型號或混合架構。
2. 企業與隱私敏感行業
銀行、保險、醫院與律師樓常把錄音視為受規管資料：把轉錄與說話人標記放在自管或專屬託管環境，可降低把完整通話送出境外通用 API 的壓力。醫療案例顯示，僅靠提示已能顯著降錯，微調後對新說話人仍有相對約四成六的 WER 改善，適合粵英夾雜、縮寫密集的口述場景；但仍須以真人抽檢核對姓名、用藥與講者切換，不能把榜單分數當成合規證明。
3. 一般用戶
一般消費者較可能透過會議軟件、學習平台或客服系統間接受益：例如重播畫面旁顯示「誰在何時說了什麼」。個人若自託管模型，仍需自行評估 GPU 成本、授權條款與誤認風險；敏感錄音不應僅因「開源」就略過存取控制與留存政策。
4. 香港與亞洲市場視角
香港企業日常同時面對粵語、英語與普通話會議，以及跨境客服與專業口述；開源多語檢查點加上可本地微調的流水線，貼近「數據留港／留在專屬環境」的私有 AI 需求。亞洲開發者亦可參考官方醫療調適流程，把本地口音與術語寫進訓練目標，而不是只依賴通用雲端語音 API。對正建設代理人式語音工作流的團隊，錄製軌跡的可還原轉錄與說話人標記，也是事後審計與品質抽檢的基礎。
五、專業評價與潛在考量
優勢
- 同一開源檢查點覆蓋轉錄、說話人、翻譯與音訊問答，減少多模型串接成本。
- 公開榜單數字完整可核對，且有效參數相對總參數精簡，利於單卡部署敘事。
- Granary v2 與微調案例把「提示 → 數據 → LoRA」路徑寫清楚，利於行業落地。
- 可自託管或選託管端點，方便按數據主權選擇處理位置。
需要留意的地方
- 官方明確不做即時串流；直播字幕、電話實時助理需另案評估。
- 語言支援依任務不同（例如說話人歸因十三語、問答英語為主），选型前須對照任務矩陣。
- 榜單為特定測試集結果；姓名、重疊對話與行業術語仍需抽檢。
- Granary 公開小時數描述數據集發布，不等於模型完整訓練配方；下載音訊須遵守各語料授權。
- 醫療微調案例顯示一般英語 LibriSpeech 清潔集 WER 略升，領域專精可能帶來通用集小幅回退。
結語
輝達把「開源語音」從單一轉寫器推進到可提示、可標記說話人、可翻譯並可用公開流水線微調的組合拳，對會議、客服與專業口述這類已有錄音庫的企業最具即戰力。若你的香港或亞洲業務需要把語音軌跡留在可控環境、再接到私有大語言模型與代理人工作流，可了解 YSK Limited 的 企業私有 LLM 全託管（年費由 HK$88,000 起，Dataset → QLoRA／LoRA → 私有 API，數據不出境）。
參考來源