YSK News

標籤 #模型評估

共 1 篇文章

Telegram RSS
OpenAI/官方:首席科學家公開內部預訓練困惑度——倡議以該指標作為跨實驗室共通標準,並在監控能力達標前設定開發上限

OpenAI/官方:首席科學家公開內部預訓練困惑度——倡議以該指標作為跨實驗室共通標準,並在監控能力達標前設定開發上限

OpenAI 首席科學家 Jakub Pachocki 於十一月二十二日在官方網站發表〈困惑度與智能〉,公開該公司內部預訓練對數困惑度(亦即交叉熵損失)的測量結果,並倡議把困惑度訂為不同模型開發機構可互相比較的共通指標,用以支撐共享安全標準。他進一步建議,前沿開發者應共同訂立基於困惑度及其他測量的共通上限,在理解與監察...