輝達聯同印度理工學院馬德拉斯分校旗下 AI4Bharat，於 Hugging Face 官方部落格公布印度語系前置訓練資料工程：名為 Nemotron-pretraining-Indic-v1 的語料庫涵蓋印度憲法所列二十二種語言、合計約二點八萬億 token，並同步公開以 NeMo Data Designer 為核心的合成資料生成流水線。來源真實性已驗證：本文事實核對自 Hugging Face 官方博文、技術報告資料集頁（CC BY 4.0）及 NVIDIA-NeMo DataDesignerPlugins 倉儲中已存在的 Indic 翻譯外掛目錄。

輝達／AI4Bharat：開源約二點八萬億 token 印度語系前置訓練語料與合成流水線——二十二語、原生與羅馬拼音並行

一、核心事件：把「印度語系資料不足」做成可複用的開源配方

印度語言技術長期落後英語，關鍵瓶頸是公開、可審計、可擴充的前置訓練資料。輝達與 IIT Madras 的 AI4Bharat 實驗室在 Hugging Face 宣布即將釋出 Nemotron-pretraining-Indic-v1：以 Gemma-4 tokenizer 計，語料約二點八萬億 token，覆蓋印度憲法列明的二十二種第一語言（官方稱涵蓋約九成七印度人口所對應的語言生態）。語料同時提供二十二語的原生文字，以及其中十二語的羅馬拼音寫法，合共三十四種「語言—文字」組態。

官方強調語料「即將釋出」（releasing soon），並已把生成配方開源：團隊以 NeMo Data Designer 跑翻譯、品質評分與定向修復，另在 DataDesignerPlugins 倉提供 data-designer-nemotron-indic-translation 外掛，方便開發者換上自有英文來源文件後重跑流程。技術報告亦以 CC BY 4.0 放上 Hugging Face 資料集 nvidia/nemotron-indic-pretraining-report。

技術細節（已核對數字）

規模：原生文字約 2,601.0 billion token、羅馬拼音約 224.6 billion token（Gemma-4 tokenizer；合計對應約 2.8 trillion 量級）；與官方所述約二點八萬億（約 2.8 trillion）token 量級一致。
來源：由 Nemotron-CC-v2 的十五個子集出發，涵蓋網頁、問答、數學、程式碼等專題內容；流程保留來源識別碼，方便追溯。
十二語工作流：以 Gemma-4-31B-it 做文件級翻譯與質素評估，評分架構參考開放的 Multidimensional Quality Metrics（MQM），涵蓋意義、流暢、術語、風格與格式；只保留評分至少七十五（百分制量表，非準確率百分比）的輸出。低分樣本依評估意見修復後再評，官方稱此修復路徑已回收約四千三百八十四億 token（已計入語料總量）。
其餘十語：改走 Bodhan AI 的 Indic Translate 等文件級翻譯路徑（博文另述視窗拼接、文字系統轉換等特例）。
下游驗證：Nemotron 3.5 Super VL 的印度語系持續前置訓練（CPT）階段，配置預算一千億訓練 token，其中一成（一百億）混入合成與自然印度語系文本；官方比較 CPT 前後檢查點，基準升幅介乎約四點九八至九點八二個百分點（屬整段訓練階段結果，並非單獨歸因於合成語料）。相對上一代 Nemotron 3 Super，3.5 Super VL 在所示六項任務基準中有五項較高，並在 Sarvam AI 開放的 IndiVibe 四個維度（有用性、流暢、語言／文字忠實度、篇幅適切）全面改善。

二、技術原理深度解析

這次發布的重點不只是「更大的檔案」，而是把合成前置訓練做成可複現的資料工程：

文件級翻譯而非句級切片：讓模型在段落、表格與方程式之間保留上下文；提示詞明確區分「要翻譯的散文」與「要原樣保留的程式碼、公式、URL、格式」。
評估—修復閉環：同一生成模型先翻譯、再以 MQM 風格量表打分，低分樣本帶意見重寫，形成可量化的接受門檻。
雙文字軌道：原生文字與羅馬拼音並存，對應實際書寫習慣（例如社群媒體、即時通訊常見的拉丁拼音印度語），訓練混合時需分開理解「腳本曝光」與「語義內容」的重疊。
外掛化流水線：透過 NeMo Data Designer 外掛把提示詞、可選回饋重寫、文件視窗化與文字重映射配置化，使企業可用自有領域文件生成「可審計」的合成語料，而不是只下載黑盒權重。

對香港與亞洲團隊而言，這套思路可遷移到粵語／繁中／東南亞語系的私有資料工程：先鎖定來源文件與授權，再以可評分流水線擴充低資源語言覆蓋，而不是直接把客戶原文送上公有雲微調。

三、日常應用場景

1. 開發者與技術團隊

可先串流抽樣 Hugging Face 資料集介面（官方示範以語言—文字—地區標籤如 hi-Deva-IN／hi-Latn-IN 選組態），在完整下載前檢查欄位與授權；並以 DataDesignerPlugins 的 Indic 翻譯外掛，對自有英文技術文件做小規模試跑，調校提示詞與接受門檻後再擴量。

2. 企業與隱私敏感行業

銀行、保險、醫療、法律若服務南亞客戶或跨境營運，往往需要印度語系客服、合約摘要與知識庫問答，但又不能把受規管語料送出管轄區。開源配方讓團隊在私有環境生成合成擴充資料，再與內部自然語料混合，接上私有推論 API。

3. 一般用戶

短期受惠主要來自更好的印度語系助手與翻譯品質（官方以 Nemotron 與 IndiVibe 展示方向）；一般用戶無需下載萬億級語料，但會間接感受到多語產品在流暢度與文字系統正確性上的提升。

4. 香港與亞洲市場視角

香港企業對接印度供應鏈、旅遊、留學與金融科技夥伴時，印度語系覆蓋是真實需求。本地團隊亦可借鏡同一流水線，為粵語口語書面語、繁簡混用或東南亞語種建立「可評分、可追溯」的合成資料治理，而不是一次性爬蟲堆量。

四、專業評價與潛在考量

優勢

官方主來源（Hugging Face／NVIDIA 博文）日期為二〇二六年十月十六日，數字與流程描述具體，並附 CC BY 4.0 技術報告。
同時開源「語料即將釋出」與「生成外掛已在公開倉可見」，降低只釋權重、不釋資料工程的黑盒風險。
將 MQM 風格質素門檻與來源追溯寫進流程，較純粹規模競賽更接近企業可審計標準。

需要留意的地方

語料本體官方寫明 releasing soon，撰稿時應以資料集卡片與授權為準，下載前先核對 revision 與 license。
Token 計數依 Gemma-4 tokenizer，且文件紀錄含翻譯與文字變體，不能直接等同「獨立英文原文篇數」。
CPT 基準升幅是整段訓練階段結果；合成語料的孤立貢獻仍待更多對照實驗。
翻譯合成固有風險（術語漂移、文化不適、程式碼／公式破壞）需以母語審稿與持出測試補位；官方亦提示範圍與限制章節。

結語

印度語系大模型要追上英語生態，缺的往往不是另一個架構口號，而是可擴充、可評分、可追溯的前置訓練資料工程。輝達與 AI4Bharat 這次把約二點八萬億 token 的 Indic 語料與 NeMo 合成流水線攤開，對亞洲多語私有模型落地有直接示範價值。

若香港企業需要把法律、醫療、金融等領域知識做成私有模型，又要守住資料不出境，可參考 YSK Limited 的企業私有 LLM 全託管（Dataset → QLoRA／LoRA → 私有 API，年費 HK$88,000 起，100% 數據留港）：https://ysk.hk/services/ai-automation 。若團隊已在本機或專用機以 Hugging Face 權重做推論，亦可搭配 YSK Omni（v1.0.4，預設埠 3850）作為 OpenAI 相容閘道：https://ysk.hk/products/ysk-omni 。

參考來源