🔒 Google 推出 VaultGemma:目前最強的差分隱私開源 LLM

Key takeaway

Google Research 與 DeepMind 合作發布 VaultGemma,這是目前最大(10 億參數)、從零開始以差分隱私(Differential Privacy)完整預訓練的開源語言模型。模型權重已釋出至 Hugging Face 與 Kaggle,並附技術報告。

Google 推出 VaultGemma:目前最強的差分隱私開源 LLM

Google Research 與 DeepMind 合作發布 VaultGemma,這是目前最大(10 億參數)、從零開始以差分隱私(Differential Privacy)完整預訓練的開源語言模型。模型權重已釋出至 Hugging Face 與 Kaggle,並附技術報告。

VaultGemma 採用與 Gemma 2 相同的訓練數據混合,但透過新建立的 DP 擴展定律與進階演算法,在隱私預算 ε ≤ 2.0、δ ≤ 1.1e-10 的序列級保證下完成訓練。它能有效防止模型記憶訓練數據中的個別例子,特別適合需要嚴格隱私合規的醫療、金融或企業內部應用。

這對私有 LLM 部署意義重大:企業可在不犧牲太多效用的情況下,建立真正「隱私 by design」的本地模型。

YSK Limited 專業遠端開發團隊實現 AI、私有 LLM、Web3 項目。立即了解:https://ysk.hk/

Related services & products