NVIDIA AI 近日公布對超過 300 個已驗證技能（Verified Skills）的基準測試結果，並同步開源評估框架 SkillEvaluator。測試在相同任務、相同模型、相同設定下進行，唯一差異是智能體是否載入技能。結果顯示技能帶來明顯提升。
一、主要基準結果
在真實任務測試中，技能平均帶來以下改進（Skill Lift）：
- 正確性（Correctness）：提升 41 分（由 46 升至 87）
- 有效性（Effectiveness）：提升 39 分（由 39 升至 78）
- 效率（Efficiency）：提升 35 分（由 43 升至 78）
- 可發現性（Discoverability）：提升 40 分
- 安全性（Security）：僅微升 1 分（已屬高基線）
整體平均提升約 31 分；排除安全性後平均提升 39 分。不同 agent harness（Claude Code 與 OpenAI Codex）均見正向效果，產品領域對提升幅度的影響大於 harness 選擇。
二、SkillEvaluator 框架簡介
SkillEvaluator 是開源多層評估工具，專為 AI 智能體技能設計，分為三層：
- Tier 1 驗證：靜態檢查 schema、品質、安全性、PII、授權等，可離線運行。
- Tier 2 去重：以語意相似度偵測重複或重疊技能。
- Tier 3 實測：在隔離環境中，讓智能體分別在「有技能」與「無技能」條件下執行相同任務，量化差異。
此框架讓開發者在發布技能前，可先驗證其是否真正改善智能體表現，而非僅依賴主觀判斷。
三、專業觀察
隨著 AI 智能體從通用對話轉向任務導向，技能（Skills）已成為延伸能力的關鍵中介層。NVIDIA 的測試證明，經過驗證的技能可大幅提升正確性與效率，但也提醒並非所有技能都能帶來相同收益——部分技能可能增加 token 消耗，需針對優化。
開源 SkillEvaluator 有助業界建立共同評估標準，降低「技能氾濫卻缺乏量化證據」的問題。對於企業部署私有智能體或 NVIDIA 生態系工具（CUDA、NeMo、Omniverse 等），此工具可作為上線前的品質門檻。
結語
NVIDIA 透過大規模基準測試與開源評估框架，為 AI 智能體技能生態提供可量化的改進證據。開發者與企業可直接使用 SkillEvaluator，在發布前驗證技能價值，進一步提升智能體在實際任務中的可靠度與效率。
技術深潛文章：https://developer.nvidia.com/blog/evaluating-ai-agent-skill-performance-with-nvidia-skillevaluator/
開源倉庫：https://github.com/NVIDIA/SkillEvaluator
參考來源
- NVIDIA Technical Blog
- NVIDIA SkillEvaluator 開源文件