OpenAI、Google 與 Microsoft 於十月三十日同日宣布，將支援在 robots.txt 以共用 policy token 表達「是否可用於生成式 AI 訓練」的偏好；技術草案寫成 __usage_ai-training，讓網站不必再為每家爬蟲各寫一套規則。微軟訂二零二七年二月一日起隨爬取生效，並另設頁面級 grounding 偏好；Google 目標二零二七年支援，OpenAI 則稱未來數月內落地。來源真實性已對照三家官方頁與 IETF Internet-Draft。
OpenAI／Google／Microsoft：支援 robots.txt 共用 AI 訓練偏好訊號——__usage_ai-training；微軟訂二零二七年二月一日起生效
二零二六年十月三十日，OpenAI、Google（Search Central）與 Microsoft Bing 幾乎同日公布：網站營運者可用 robots.txt 內一個跨供應商的「政策權杖」（policy token）表達對生成式 AI 訓練的偏好，而不必再為 GPTBot、Google-Extended、Bingbot 等逐一維護互不相通的規則。來源真實性已驗證：本文以三家官方公告為主，並對照 Anthropic 工程師 Kevin Kelley 同日提交的 IETF Internet-Draft draft-kelley-aipref-training-preference-signal-00；文中日期、生效時間表與語法示例均出自上述原文，未外推未公布的執法力或罰款機制。
一、核心事件：一條共用訊號，取代「每家爬蟲各寫一套」
技術細節
OpenAI 官方說明，公司將尊重 robots.txt 內一項共用訊號，讓網站就「是否將內容用於基礎生成式 AI 訓練」向多家參與提供者一次表達偏好；既有針對個別爬蟲的 robots 控制不會被取代，並會繼續生效。OpenAI 表示目標在「未來數個月」實作，並會另發更新交代細節；同時強調此舉延續其參與 IETF AI Preferences（AIPREF）工作組的討論。
Google Search Central（John Mueller，2026-10-30）寫道：網站可在 robots.txt 使用共用 policy token，一次向多家 AI 提供者設定訓練偏好。當網站以該 token 選擇退出訓練、且未另行明確指定 Google-Extended 時，Google 計劃將其解讀為等同 Disallow Google-Extended；既有公司專屬控制（例如自 2023 年起提供的 Google-Extended）仍可並存，網站可「先用產業訊號設大方向，再用供應商專屬規則微調」。明確允許 Google-Extended 的網站，仍有資格出現在以網頁 grounding 的 Gemini Apps 回應並取得點擊。Google 寫明目標與其他提供者於 2027 年支援此控制，並會更新進度。
Microsoft Bing（Krishna Madhavan，2026-10-30）同樣承接共用 AI Training 偏好，並額外推出獨立的 AI Grounding 頁面級偏好：除 Disallow（完全禁止用於生成回應）外，新增 DisallowExtended——允許內容用於 Microsoft 自營體驗（例如 AI Mode、AI Overview、Copilot、Microsoft 365），但不允許經 Microsoft 向第三方提供的 grounding 服務（文中舉 Web IQ、Foundry 的 grounding API）。自 2027 年 2 月 1 日起，微軟將在爬取時開始尊重新偏好；若偵測到新的 Training／Grounding 偏好，將忽略該站仍殘留的 NoArchive／NoCache。2027 年 3 月 1 日後，NoArchive／NoCache 不再被讀作訓練或 grounding 偏好。對仍使用舊標籤的站點，微軟要求在限期前於頁面發布新偏好，並（就 grounding）於 Bing Webmaster Tools 登記過渡偏好；過渡偏好最遲至 2027 年 9 月 30 日或重新爬取發現新設定為止（以較早者為準）。微軟強調：這些偏好不影響傳統 Bing 搜尋結果的資格（仍須符合一般爬取與索引條件），亦不構成授權或付費安排。
IETF 個別 Internet-Draft（作者 Kevin Kelley，署名 Anthropic；2026-10-30；到期 2027-05-03）定義政策權杖 __usage_ai-training，以普通 robots.txt 的 User-Agent 群組綁定路徑偏好，不新增指令名稱或文法，沿用 RFC 9309 的路徑語言與最長匹配。草案示例：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/表示除 /press-kit/ 外，對 AI 訓練表達「反對」偏好；Allow 路徑則表達「贊成」。草案明確：若檔案中完全沒有該 token 群組，即表示未表達偏好；User-Agent: * 萬用群組不得被解讀為匹配此 policy token。內容使用偏好與爬取流量管理訊號彼此獨立；該 token 不是爬取行為指令（消費者可選擇據偏好調整爬取策略，但站長若要限制爬取，仍應使用各爬蟲自己的 product token 規則）。草案狀態為個別 I-D，未經 IETF 背書、非正式標準。
二、技術原理深度解析
傳統 robots.txt 主要回答「可不可以抓」；AIPREF 這條路徑則嘗試回答「抓到之後，可不可以拿去改生成式模型的可學習參數」。草案對齊工作組詞彙：AI Training 指以資產修改生成式 AI 模型的已學習參數；專為非生成式任務（分類、排序、評分）而訓練者，即使模型本體具備生成能力，亦不納入此類。偏好綁定於「檢索當下生效的 robots.txt」所覆蓋的路徑內容。
實作上，站長仍寫熟悉的 Allow／Disallow，只是把 User-Agent 從「某隻爬蟲名字」換成「用途權杖」。舊式只認爬蟲名的解析器會把未知 UA 群組忽略，從而不破壞既有爬取行為——這正是草案強調「與 RFC 9309 距離最小、不大規模複製規則」的設計目標。微軟再把同一訓練偏好延伸到頁面級（meta 或 X-Robots-Tag，頁面設定可覆寫 robots.txt），並把「訓練」與「即時 grounding 進答案」拆開，反映產品現實：拒絕訓練≠拒絕被引用進 AI 摘要，反之亦然。
對企業與出版社而言，關鍵操作差異是：共用訊號降低「維護 N 套互斥規則」的營運成本；但各家生效時間、專屬例外（Google-Extended、Bing 頁面 grounding）與「未設定＝預設允許」的預設值，仍須分開管理，不能假設寫一次就全球即時生效。
四、日常應用場景
1. 開發者與技術團隊
站點與產品文件的擁有者應盤點：公開 API 文件、部落格、說明中心、行銷落地頁是否允許進入基礎模型訓練語料。可先在 staging 驗證 __usage_ai-training 群組不會誤傷既有 User-Agent: * 爬取規則，再於正式環境發布；並保留供應商專屬規則作為微調層。CI／基礎架構即程式（IaC）可把 robots.txt 納入版本控管與變更審批。
2. 企業與隱私敏感行業
金融、法律、醫療與政府供應商往往同時有「對外品牌內容」與「不可進公共模型」的合規要求。共用訊號有助在集團層統一「反對訓練」預設，再對新聞稿、開源專案或 press kit 路徑顯式 Allow。微軟將 grounding 與訓練拆開，也提醒：即使禁止訓練，若未設定 grounding，內容仍可能被用於生成式回答的即時引用——需按產品風險分開決策。
3. 一般用戶
個人部落格、開源維護者與小型媒體可用同一語法表達偏好，減少追蹤每家 AI 爬蟲更名的負擔。惟應理解：此為自願產業機制與進行中的標準化工作，並非全球法律強制；未參與的爬蟲或離線鏡像仍可能不在涵蓋內。
4. 香港與亞洲市場視角
香港新聞、電商說明頁、上市文件摘要與中小企官網高度依賴公開網頁流量；過去「只擋 GPTBot、卻漏了其他訓練爬蟲」的配置落差常見。今次三家同日表態，對本地 SEO／內容團隊是整理 robots 與內容授權政策的時間窗：在 2027 年各家陸續生效前，應完成路徑級盤點，並對接法務對「訓練 vs 搜尋摘要／grounding」的差異定義。對必須數據不出境或只允許私有語料微調的機構，產業 opt-out 只是公開網層的補充，不能取代私有 LLM 與合約邊界。
五、專業評價與潛在考量
優勢
- 首次由多家頭部模型／搜尋提供者同日對齊「共用訓練偏好」敘事，降低站長維護成本。
- 語法貼近 RFC 9309，舊解析器可安全忽略，部署摩擦較低。
- 微軟把訓練與 grounding 拆開並給出明確日曆（2027-02-01／03-01／09-30），可執行性高於純原則聲明。
- Google 保留 Google-Extended 微調與 Gemini grounding 資格敘事，顧及「想被引用、但不想進訓練」的出版社需求。
需要留意的地方
- 草案為個別 Internet-Draft，非正式 IETF 標準；詞彙與語意仍可能隨工作組演進。
- 各家生效時間不一致（OpenAI「數月內」、Google「2027」、Microsoft「2027-02-01」），過渡期規則並存易混淆。
- 未設定＝未表達偏好（且多數場景預設偏向允許使用），舊
NoArchive／NoCache使用者若錯過微軟截止日期，grounding 可能回落為允許直至再爬取。 - 訊號屬偏好／自願機制，不自動等於授權合約、付費或對所有行為者的法律強制；私人協議可凌駕（草案亦如此寫）。
- 不涵蓋離線數據集轉售、人工鏡像或未參與協議的爬蟲。
結語
當生成式模型的訓練與即時 grounding 成為內容產業日常變量，網站需要的不是更多互不相通的爬蟲暱稱，而是一條可跨廠商讀取的偏好語意。OpenAI、Google 與 Microsoft 於十月三十日把 IETF AIPREF 工作組的階段成果推向產品時程，並以 __usage_ai-training 這個看起來像 User-Agent 的權杖，嘗試把「可不可以拿去訓練」從「可不可以抓」裡拆出來。對香港企業與出版社，接下來九十分是盤點路徑、對齊法務定義，以及決定哪些內容可以進公共模型、哪些只能留在可控環境。若你的機構需要在數據主權前提下自建或託管領域模型，而非把敏感語料送進公共訓練管線，可參考 YSK Limited 的企業私有 LLM 全託管（年費由 HK$88,000 起，以網站公布為準）：https://ysk.hk/services/ai-automation
參考來源
- OpenAI：《Making it easier for websites to express AI training preferences》（2026-10-30）https://openai.com/index/helping-websites-express-ai-training-preferences
- Google Search Central：John Mueller，《Supporting a shared AI training control for websites》（2026-10-30）https://developers.google.com/search/blog/2026/10/ai-training-control
- Microsoft Bing：Krishna Madhavan，《Your content, your choice: clearer preferences for training and grounding》（2026-10-30）https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
- IETF Internet-Draft：Kevin Kelley，《Machine-Readable Training Preference Signal》，draft-kelley-aipref-training-preference-signal-00（2026-10-30）https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/ ／ https://www.ietf.org/archive/id/draft-kelley-aipref-training-preference-signal-00.txt