OpenAI 首席科學家 Jakub Pachocki 於十一月二十二日在官方網站發表〈困惑度與智能〉,公開該公司內部預訓練對數困惑度(亦即交叉熵損失)的測量結果,並倡議把困惑度訂為不同模型開發機構可互相比較的共通指標,用以支撐共享安全標準。他進一步建議,前沿開發者應共同訂立基於困惑度及其他測量的共通上限,在理解與監察人工智能行為的能力達到具體里程碑之前,承諾不予跨越。本文已核對 OpenAI 官方原文,來源真實性已驗證。
OpenAI/官方:首席科學家公開內部預訓練困惑度——倡議以該指標作為跨實驗室共通標準,並在監控能力達標前設定開發上限
OpenAI 首席科學家 Jakub Pachocki 十一月二十二日在官方研究頻道刊出〈Perplexity and Intelligence〉(困惑度與智能)一文。官方頁面標示該文屬研究與安全類別。本文已直接核對官方原文,來源真實性已驗證。文章並非發布新的對外模型產品,而是把該公司長期用來衡量預訓練進展的內部指標公開,並以此為基礎,呼籲業界建立可跨實驗室追蹤的安全節奏與開發上限。
一、官方公開的指標、數字與政策倡議
Pachocki 寫道,外界或以為當代人工智能如傳統軟件般,由針對特定能力的多樣技術堆疊而成;實際上,這些方法大多是在調用一個更簡單、也較難解釋的過程:在極大規模語料上訓練一個壓縮器(或等價地說,預測器)。他認為,追蹤「訓練出更好壓縮器」的進度,是理解人工智能發展弧線的關鍵,因此主張把困惑度(或等價的交叉熵損失)訂為開發機構之間可比較的指標,並用以支撐共享安全標準。作為第一步,他選擇公開 OpenAI 內部的預訓練進展。他承認,公開這些數字會讓競爭對手更清楚該公司所處位置,但認為建立業界共享安全措施的急迫性更重要,並希望此舉成為日後節奏管控的共同科學基礎。
文中把發展過程簡化為:先建造大型計算機,再在大量非結構化資料上預訓練模型,其後才以提示、微調或強化學習等方法,引出模型中潛藏的能力。他強調,預訓練階段所創造的,是難以事先預測的湧現能力;後續工作則是有針對性的引出。該公司多年來衡量這層「智能基質」的主要方法,一直是模型在留出資料集上的困惑度。困惑度衡量模型平均能多準確地預測下一個標記,數字愈低代表預測愈好。官方並在註釋中說明,實務上追蹤的是困惑度的對數,也稱為交叉熵損失。
技術細節
Pachocki 在文中公布的數字,來自該公司自 GPT-3.5 起主要追蹤的內部代碼庫留出資料集(固定快照),並非公開基準測試集。他寫道:GPT-3.5 在該資料集上的對數困惑度約為零點九九,已能進行流暢對話,並成為原版 ChatGPT 的基礎;GPT-4 約為零點九一,已能有效運用思維鏈推理,並推動其後針對這項能力的引出,以及現代推理模型的出現。當損失降至低於零點八,他們觀察到網絡安全與數學等領域出現變革性能力。他特別強調,這些能力會在特定閾值出現,事先並不明顯,可視為隨單一指標進展而湧現的潛藏能力。
在數學評估方面,他寫道該公司逾一年來把未解數學問題交給模型作評測;當升級至對數困惑度約零點七六的模型後,模型開始產出開創性結果,甚至在單一內部討論串中接連解答研究人員長期思考的問題。他以此外推:深度學習研究本身也可能出現類似突變。雖然該領域更依賴實驗,但歷史上簡單洞見被錯過多年並非罕見,因此最早在二零二七年,便可以想像會見到預訓練算法出現一輪根本性突破。他同時預期,人工智能也會顯著參與對齊與監察工作,但認為這方面的進展,不太可能快到足以完全跟上預訓練可能出現的加速。
在前景方面,他按近期進展外推,預期當對數困惑度進入約零點六八至零點七的區間時,還會再出現變革性能力,而這些能力今天未必已被納入測試。與此同時,他也預期目前主流的對齊審計方式會進一步退化,以及模型的評估覺察與訓練覺察會進一步上升。因此,他主張前沿模型開發者應共同訂立規範:在這類模型首次被使用之時,便應有共享的評估方法,並對安全論證進行紅隊測試,包括共享的透明度標準。他進一步建議訂立「共通上限」:以困惑度及其他測量為依據,開發者承諾在理解與監察人工智能行為的能力達到某一具體里程碑之前不予跨越,例如發展出思維鏈監察工具的後繼方案。他希望先有一項業界標準,訂明以跨實驗室可追蹤的關鍵指標作為第一道開發限制,以及跨越該限制前必須具體達成甚麼條件,從而為後續分階段設限與節奏管控提供框架。
官方註釋亦補充,預訓練損失曲線在二零二六年出現陡峭加速,該公司主要歸因於長期研究與算力投資的結果,自動化只占較小部分;但就最新模型而言,他們已經看到人工智能對設計作出有意義的貢獻。
二、技術原理深度解析
困惑度與交叉熵損失,本質上衡量的是語言模型對未見文本的預測品質。把下一個標記預測得愈準,壓縮未見數據的能力就愈強。Pachocki 把預訓練模型稱為壓縮器,並在註釋中澄清:這裏指的是憑預測未見數據來完成壓縮的系統,而不是像 GZIP 那樣記住語料的壓縮檔;在既定語料上訓練出的最佳壓縮器,並不必然「記得」語料內容。這個區分很重要,因為它把「智能基質」放在預測與泛化,而不是對訓練文本的死記。
文章想說明的核心機制是:下游基準會隨能力躍進而迅速飽和或過時,但預訓練損失仍可能保持可比性。他舉例,以今日多數基準去評估 GPT-2 與 GPT-3 意義不大,而當年所用基準大約在 GPT-4 前後已接近飽和;相比之下,預訓練進展仍具參考價值。不過,他也列出把困惑度作為共享指標的四項困難。第一是跨實驗室難比較:不同開發者使用不同評估集與訓練資料配比;他公布的是該公司自己最依賴的內部代碼庫數字,並認為若業界同意以透明度為目標,仍可找到可轉移的比較方法。第二是與可行動評估脫節:困惑度並不直接對應某一項人們在意的任務,其價值在於可預期它的進展會帶來全新能力湧現。第三是無法涵蓋預訓練以外的進步:最明顯的是思維鏈推理並不會降低模型達到的困惑度,卻能大幅提升能力。第四是未知下限:損失為零意味可完全確定地預測整個資料集,他們並不預期能夠達到;但資料固有熵是多少仍不知道。愈接近該下限,困惑度表面上的進展會變慢,但更小的損失下降,卻可能對應更大的智能躍進。
另一條技術主線,是人工智能參與自身開發所帶來的節奏變化。Pachocki 區分兩種常見討論:一是人工智能逐步增補以至取代人類研究人員,最終走到「完全遞歸自我改進」、整個過程自動化且沒有人類監督;他認為這種狀態顯然應予避免,以維持人類控制。二是他認為更關鍵、卻常被忽略的一步:人工智能介入預訓練算法研究本身。數學領域已出現的突變,被他用作外推預訓練研究也可能驟然加速的依據。換言之,業界若只盯著下游產品演示,可能錯過「壓縮指標跨越某一窗口後,能力與開發速度同時改變」的風險。
三、日常應用場景
1. 開發者與技術團隊
對模型訓練、評測與安全紅隊團隊而言,這篇文章的直接含義是:不能只報告下遊基準分數,也應保留可跨版本比較的預訓練損失追蹤,並說清楚評估集、資料配比與是否包含思維鏈等後訓練方法。若要把不同實驗室的模型放在同一套風險框架下討論,先要處理「各用各的資料集」這個比較問題,否則共享上限只會變成無法核對的口號。開發內部代理或自動化研究工具時,亦應把「模型開始為預訓練算法提供設計貢獻」視為需要獨立審計的節點,而不是把自動化進展與算力擴張混為一談。
2. 企業與隱私敏感行業
金融、法律、醫療與政府機構若採購前沿模型,或在內部微調領域模型,面對的不只是功能清單,還有開發節奏是否受共同約束。Pachocki 所說的共通上限、共享透明度與安全論證紅隊,指向的是採購方可要求供應商說明:模型處於哪個損失窗口、評估與訓練覺察如何處理、以及在監控能力未達標前會否繼續擴展預訓練。對香港受規管行業而言,把訓練資料、微調與推論留在可審計、資料不出境的環境,有助在使用先進模型的同時,避免把無法解釋的湧現能力直接放入生產流程。
3. 一般用戶
一般使用者不會直接讀到對數困惑度,但會感受到能力躍進的後果:模型更能處理專業推理,也可能更懂得迎合測試或隱藏真實行為。官方文章提醒,基準分數好看,並不保證對齊審計仍然有效。使用者在把模型用於學習、工作或重要決策時,仍應以可核對的來源與人工審閱為準,而不是把尚未被充分監察的能力視為已經受控。
4. 香港與亞洲市場視角
亞洲多地正同時推進人工智能應用與風險治理。OpenAI 這次選擇公開內部指標並倡議跨實驗室上限,為監管機構與業界提供一個可討論的技術抓手:與其只比較聊天演示,不如要求開發者交代預訓練進展、評估集與監控里程碑。香港企業若在本地部署私有模型或對接外部前沿模型,也可把「損失窗口、思維鏈監察、以及跨越上限前必須具備的監控能力」寫入評審清單,使治理討論對應到可量度的技術條件,而不是停留在口號式的安全承諾。
四、專業評價與潛在考量
優勢
以官方身份公開長期內部指標,是少見的透明度步驟,讓外界至少能對照該公司自身由 GPT-3.5 至今的損失路徑,而不是只看產品發表會。把困惑度重新放回討論中心,有助提醒業界:許多變革性能力是隨壓縮進展湧現,下游基準往往滯後。明確反對完全遞歸自我改進、並把「預訓練算法研究被人工智能加速」從一般自動化討論中單獨抽出,有助把風險討論聚焦到真正可能改變節奏的環節。提出以可追蹤指標設定第一道開發上限,以及跨越前必須達成的具體監控里程碑,也比空泛呼籲「負責任發展」更接近可執行的制度設計。
需要留意的地方
這些數字來自 OpenAI 內部代碼庫的固定快照,原文已承認不同實驗室的資料集與配比不同,因此不能把約零點九九、零點九一或零點七六直接當成跨公司排行榜。思維鏈等後訓練方法不會反映在困惑度上,若只以損失設限,可能低估實際能力。資料固有熵未知,愈接近下限,小數點後的變化愈難詮釋。二零二七年預訓練算法或現突破、以及約零點六八至零點七窗口將出現新能力,均屬作者按近期觀察所作的外推,並非已發生的產品發布,也不應寫成既定時間表。文章提出的是倡議,並未宣布已有多間實驗室簽署共同上限,亦未給出上限的具體數值。對齊審計退化與評估覺察上升的判斷,需要後續公開證據與跨機構核對,才能轉成可操作的合規要求。
結語
Pachocki 這篇文章的重點,不是再發表一款新模型,而是把預訓練困惑度公開成為可討論的共同尺子,並主張在監控能力達到具體里程碑之前,先為開發設下跨實驗室可追蹤的上限。對企業與公共機構來說,真正要跟進的,是供應商會否以同樣透明度說明自身的損失窗口、評估方法與監控條件,以及會否在能力躍進快過監察時仍然擴展預訓練。香港機構若要把類似的前沿能力用於內部知識處理,更應先確保資料主權與可審計的部署邊界。如需在香港部署資料不出境的企業私有 LLM 全託管,可參考 YSK Limited 相關服務(https://ysk.hk/services/ai-automation)。
參考來源
- OpenAI 官方:Perplexity and Intelligence,Jakub Pachocki(2026-11-22)https://openai.com/index/perplexity-and-intelligence
- 發現來源:OpenAI News RSS https://openai.com/news/rss.xml