Dharma-AI 團隊於二零二六年十月二十一日在 Hugging Face 官方網誌發表文章，預告即將公開的 VocabX 論文結果：針對已微調到單一領域的小語言模型，把詞表按「每個 token 的服務成本」而非出現頻率重新設計，可在不更換底模的前提下，把實測推理成本砍約百分之七十七。他們以生產環境中的葡萄牙語作文自動評分器（建於 Qwen3-4B）為案例，回應平均由約三百五十個 token 降至約一百零一個，品質基準分數由零點七零三升至零點八一零。本文已核對 Hugging Face 官方網誌原文要點，來源真實性已驗證；文中數字來自仍在審稿的論文版本，正式刊出前可能再調整。

Hugging Face／Dharma-AI：VocabX 按成本特化小模型詞表——作文評分實測推理成本約降七成七；品質分數同步上升

對香港與亞洲企業而言，這則文章的重點不在再換一顆更大的 frontier 模型，而在指出：領域專用小模型若仍沿用「通才」詞表，會同時付出碎片化與冗餘計分兩種浪費。私有託管、合規與可控 token 帳單的團隊，可以把詞表當成與微調同等重要的成本槓桿。

一、事件核心：同一底模、同一資料，只換詞表

已核對的官方說法（Hugging Face Blog，2026-10-21）

根據 Hugging Face 網誌 How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications（作者 Bernardo França de Aguiar、Gabriel Pimenta de Freitas Cardoso、Bruno Duarte、Francisco de Almeida Rocha Alves，署名 Dharma-AI）：

方法名稱：VocabX——按每個 token 所節省的成本與時間來選詞，而不是只看頻率。
生產案例：葡萄牙語作文自動評分器，底模 Qwen3-4B（約四十億參數），輸入作文／題目／輔助文本，輸出含各能力項分數與評語的 JSON。
通才詞表的代價：沿用原版 Qwen3-4B tokenizer，詞彙量約 十五萬一千六百六十九；領域幾乎用不到的條目，在每個生成步驟仍要計分。
實測結果（七個僅詞表不同、其餘訓練設定與種子相同的版本；同一測試機 RTX 5090＋vLLM，各跑五百次請求，成本以實測執行時間計算）：
- 模型回應平均 token：三百五十 → 一百零一；
- 實測推理成本：下降百分之七十七點零；
- 品質 bench（評分準確度＋篩掉離題／違規卷的準確度）：零點七零三 → 零點八一零。
輸出層規模：評分器案例中，輸出層由約十五萬二千列收斂至約 六萬五千 列。
論文狀態：網誌寫明數字來自「仍在審稿」的論文當前版本，正式發表前可能變更。

為何「通才詞表」在領域模型上變貴

作者把浪費拆成兩類：

碎片化（fragmentation）：領域反覆出現的 JSON 外殼、能力項名稱、評語套語，被切成多個 token，每次請求都多付。
冗餘（excess）：詞表塞滿領域幾乎不會寫出的條目（例如幾乎不寫中文的生物科評分模型，仍要為大量中文 token 計分）；LM head 每個生成步驟都要對整張詞表矩陣做運算。

文中並提醒：在他們量度的設定下，寫出一個 token 的成本約為讀入一個 token 的七點四倍（實際倍率隨硬體、批次、上下文等而變）。因此只壓縮「總 token 數」、卻不優先壓縮「輸出側」昂貴 token，會錯過大部分可省空間。

二、技術深度：按成本選詞，子詞與巨集同一準則

VocabX 相對文獻常見做法（文中點名 fast vocabulary transfer、multi-word tokenization，以及 Liquid AI 的 in-place BPE 擴展）強調兩點不足：既有方法多按頻率選詞，且多半只動「切詞」或「併詞」其中一層。

VocabX 的對應做法包括：

成本加權：候選 token 在系統提示、使用者訊息或模型回應中的節省，乘上該欄位的相對單價；在評分器案例中，回應側省下一個 token 的價值約為輸入側的七點四倍。
雙層同時做：子詞層重建領域切法；多詞層把重複跨度（短語以至整行 JSON 外殼）收成單一 macro token，兩層共用成本準則、各自有預算。
五類礦工（miners）：分別搜長詞、整行、短語、完整句子，以及帶標點／JSON／標籤的結構。八個語料平均以最後一類貢獻最大；在程式碼語料上，該類單獨貢獻約十七點五個百分點。作者指：若沒有五類齊用，評分器上的 token 壓縮會少約五十五點六個百分點。
樣本看不見的候選：對樣本中未出現、但全庫頻繁的候選，用可見候選的行為做統計估計，而非直接給零增益。合約語料上，同樣本同預算下，token 壓縮由約百分之四十四點七升至約百分之五十二點八。

品質與過度壓縮的取捨同樣寫進網誌：第一版把「能力項分數＋周圍 JSON」融進單一 macro，回應最省，但 bench 跌至零點六八九（低於原生產版零點七零三）；改為讓分數獨立成 token，每則回應約多兩個 token，bench 升至零點八一零，實測成本降幅反而達百分之七十七（融合版約百分之七十三點三）。作者總結：目標不是「最便宜的詞表」，而是「保住決策相關 token 的最便宜詞表」。

跨領域對照（合約、醫學論文、科學論文、新聞、Python 程式碼 × Qwen3／Llama-3.1／Gemma-3 共十五組）中，VocabX 在 token 壓縮上全部勝過最強對照法（領先約一點二至九點三個百分點）；估計推理成本上，剪枝版 VocabX 亦於十五組全勝。

三、應用場景（含香港／亞洲）

領域小模型在香港金融、法律、醫療、教育與客服場景很常見：資料需留港或留在私有環境、輸出格式高度重複（JSON、條款模板、病歷欄位、評語結構）。VocabX 這類「詞表特化」思路，與「再追一版更大 frontier」相比，更接近可審計的成本工程：

私有評分／審核代理：輸出固定 schema 時，優先壓縮回應側套語，但把分數、風險等級等決策位元保留為獨立 token。
合約與合規草稿：boilerplate 適合 macro；關鍵義務與當事人欄位不宜過度融合。
多語但任務單語：底模通才詞表含大量用不到的語種條目時，縮小 LM head 可同時減輕記憶體頻寬壓力。
與本地閘道並用：在香港以相容 OpenAI API 的本地／私有閘道托管 Hugging Face 權重時，詞表特化可直接反映在每請求延遲與電費／GPU 時數。

需要把領域小模型做成可量度成本與品質的私有部署時，可參考 YSK Limited 的人工智能自動化與香港私有 LLM 託管（https://ysk.hk/services/ai-automation）。企業私有 LLM 全託管年費方案由港幣八萬八千起等細節，以 https://ysk.hk/llms.txt 及官網為準。

四、專業評價

較清晰之處

官方網誌同時給出生產案例、硬體／服務設定、對照實驗與「品質不可為壓縮犧牲」的失敗路徑，便於工程複核。
明確區分 prefill 與 decode、以及「讀便宜、寫昂貴」的帳單結構，避免只談 token 計數。
十五組跨領域／跨系列對照，有助判斷方法是否只適用於單一作文評分器。

仍須注意

數字標明來自審稿中論文，正式版本可能調整；轉述應保留「約／實測於該設定」層級。
百分之七十七與七點四倍率都綁定其評分器、RTX 5090、vLLM 與批次條件，不宜直接外推為所有 SLM 或所有雲端計費單的保證折扣。
網誌為 Dharma-AI 團隊在 Hugging Face 發表的技術文章，並非 Hugging Face 產品發佈稿；落地時仍須自行做領域語料礦工、品質回歸與授權合規檢查。

五、結語

VocabX 把「詞表」從底模附贈品，拉回可設計的推理成本槓桿：在同一 Qwen3-4B、同一資料與訓練配方下，只改詞表就量到約七成七的成本下降，並讓品質分數上升。對香港企業來說，更務實的下一步往往是盤點高重複輸出結構、分開「可巨集壓縮」與「必須保留的決策 token」，再在私有環境做 A/B——而不是先為最新 frontier 買單。

若要評估領域模型私有託管、輸出格式治理與推理成本優化，歡迎查看 https://ysk.hk/services/ai-automation。

參考來源

Dharma-AI／Hugging Face Blog：How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications（2026-10-21）— https://huggingface.co/blog/Dharma-AI/vocabx-vocabulary-specialization
YSK Limited llms.txt（產品／服務與價目摘要）— https://ysk.hk/llms.txt
YSK 人工智能自動化／私有 LLM — https://ysk.hk/services/ai-automation