Cloudflare 與 OpenAI 於二零二六年十月十五日在 Cloudflare Blog 聯合公布七月啟動的研究試點早期結果:參與群組約佔 Cloudflare 全網百分之一,已助 OpenAI 發現並索引數以億計先前未知網頁,供 ChatGPT 搜尋與發現使用。來源真實性已驗證:本文以該官方聯名文章為唯一事實來源,不另加未經核對數字。
聯合文強調網絡信號只協助搜尋爬蟲發現有用頁面,由 OpenAI 獨立評估與排序;研究使用網頁元數據作搜尋/發現,而非分享頁面內容供模型訓練,網域擁有者仍可透過 AI Crawl Control 管理存取。下文整理試點規模、過濾與變更信號、頁級有害內容標記,以及對香港與亞洲網站營運者的實務含義。
Cloudflare/官方聯同 OpenAI:推進 AI 網頁發現——試點約佔全網 1%、助 ChatGPT 索引數億新頁
二○二六年十月十五日,Cloudflare 工程師 Matthew Conroy、Jack Galilee 與 OpenAI 的 Henry Aspegren、James Balfour 於 Cloudflare Blog 聯名發表《Cloudflare and OpenAI: making AI discovery better for everyone》。文章指出:即使網站已針對 AI 優化,若 AI 系統根本找不到相關頁面,內容仍難被準確引用或導流。雙方於七月啟動研究試點,檢驗 Cloudflare 網絡信號能否協助 ChatGPT 用戶更有效發現新內容;今日公布的早期結果屬肯定。來源真實性已驗證:以下事實均直接核對自該官方頁,不引用第三方轉述數字。
一、核心事件:七月試點與早期成果
技術細節
據官方聯名文,試點目標是驗證 Cloudflare 網絡提供的信號,能否幫助 OpenAI 的搜尋爬蟲在網路上發現更多有用頁面,再由 OpenAI 獨立評估與排序,決定這些頁面如何出現在 ChatGPT 的搜尋/發現體驗中。雙方形容此為可改善「發現效率」與「資訊品質」的回饋迴路。
規模方面,文章寫明參與群組約佔 Cloudflare 總網絡的約百分之一(~1%);在此範圍內,試點已令 OpenAI 發現並索引數以億計(hundreds of millions)新網頁,擴大 ChatGPT 可引用的來源,並透過回鏈讓使用者可回到原始網站與出版方。文中亦提到,OpenAI 的 GPT-6 與 Intelligent UI 正令 ChatGPT 在購物、學習與答問上更視覺化、更互動;本次發現工作被定位為與此類產品演進互補——重點是幫助系統找到更多有用、較新的網頁資訊,而非取代模型本身的介面升級。
官方同時劃清權限邊界:關於某頁的信號並不等於授權存取該頁;本研究使用的是面向搜尋/發現的網頁元數據,而非把頁面內容交給模型訓練。網域擁有者可使用 Cloudflare 的 AI Crawl Control 了解並管理 AI 系統如何存取其網站。
二、技術原理深度解析
傳統可發現性往往等於「排進搜尋結果前列」,再由人類點進去判斷價值。官方文章指出,當更多人依賴 AI 找資料與完成任務時,系統必須先找到正確來源、判斷何者有用,再以答案、引用或導引造訪網站的方式把人連回內容——即使該頁很少被其他站連結,只要資訊具體(例如某型號家電說明書、護照申請現行費用、餐廳最新菜單與營業時間),仍可能關鍵。
試點裡,Cloudflare 端提供可協助「發現」的網絡信號;OpenAI 端則負責評估相關性與助益程度並排序。雙方從實務中歸納幾類會浪費爬取資源的模式:
- 不存在的頁面被自動化流量「炒熱」:機械人反覆請求根本不存在的路徑,令空頁看起來「有趣」。
- 幾乎任意網址都重定向回首頁:爬蟲以為找到新頁,實際只是同一首頁。
- 重複內容的不同網址:多個位址指向實質相同內容。
認出這些模式後,可在爬蟲真正抓取前過濾,減少對網站營運者與搜尋系統雙方的無效負載。官方亦在測試用於標記潛在有害或遭入侵頁面的信號:合法網站可能只有單一頁面被植入假登入表單;若只標該頁而非整域懲罰,可在保護使用者的同時避免誤傷站主。早期結果顯示,此類信號有助識別應排除在索引之外的頁面。
另一方面,若不加區分地提高抓取頻率,對站主而言等於重複下載未變更頁面、徒增負載。文章提出以變更信號(change signals)告訴爬蟲何時值得再訪、何時不必;同時承認發現新頁初期可能短暫增加評估與索引負載,目標是在持續發現、保持新鮮度與降低無用工作之間取得平衡——對 Cloudflare 客戶意味著較少不必要流量,對 OpenAI 則意味著搜尋資源更多花在真正有助答問的資訊上。
下一階段方向(官方自述)包括:改善頁面篩選、測試更快更可靠的變更信號,以及衡量內容被發現後的實際業務結果;雙方表示會持續分享學習成果。
四、日常應用場景
1. 開發者與技術團隊
負責 SEO、內容平台或文件站的團隊,應把「AI 可發現性」與傳統搜尋排名分開看待:即使文案已針對答案引擎改寫,若頁面長期落在爬蟲盲區、或站內大量 404/首頁重定向/重複 URL,仍可能浪費對方爬取配額。實務上宜整理規範的 URL 結構、避免「任意路徑回首頁」、並檢視 robots/爬蟲管理設定是否與預期一致;若已使用 Cloudflare,可留意 AI Crawl Control 對 AI 存取的可視性與控制項。
2. 企業與隱私敏感行業
金融、醫療、法律等行業網站常同時有公開說明頁與需登入的敏感流程。官方強調元數據用於搜尋/發現、不把頁面內容用於模型訓練,且站主選擇仍關鍵——這對合規團隊意味著:公開行銷與知識庫頁可主動配合合法搜尋爬蟲;登入後或受規管內容則應以既有存取控制、Bot Management 與零信任邊界守住。頁級有害內容標記(例如單一被植入的假登入頁)亦提醒資安:監控應能細到「某一路徑遭竄改」,而非只靠整域聲譽。
3. 一般用戶
對一般 ChatGPT 使用者而言,更廣的索引意味著更多長尾、時效性高的原始頁有機會被引用,並可經連結回到出版方核對。用戶仍應把 AI 答案當起點:核對引用來源、日期與官方原文,尤其涉及費用、申請手續或醫療/法律資訊時。
4. 香港與亞洲市場視角
香港與亞洲大量中小企業、媒體、電商與政府資訊站,內容往往「本地且具體」、外站連結不多,過去在純連結權重的發現機制下較易被埋沒。若邊緣網絡信號能協助搜尋爬蟲找到這類頁面,對依賴準確本地資訊(牌照申請、門市資訊、產品規格)的用戶與站主都有潛在好處。與此同時,亞洲站點亦常見掃描器與惡意自動化;把有害頁標記控制在「頁」而非「整域」,有助避免因單一被入侵路徑而牽連整個品牌網域的可發現性。企業若同時在邊緣做爬蟲治理、WAF 與雲端加固,應把「允許的搜尋/AI 爬蟲」與「濫用自動化」分開策略,而不是一刀切封鎖所有機械人。
五、專業評價與潛在考量
優勢
- 規模可核對的早期成果:約 1% 網絡參與群組已對應「數億」新索引頁,顯示邊緣信號對搜尋發現具槓桿,而非純粹概念驗證。
- 職責分離清晰:Cloudflare 協助發現,OpenAI 獨立評估排序,並公開聲明不將本研究所涉頁面內容用於模型訓練。
- 站主控制權被點名:AI Crawl Control 與「信號≠授權」的表述,回應業界對 AI 爬取透明度的關注。
- 效率與安全並進:過濾無效 URL、變更信號、頁級有害標記,同時照顧爬取成本與使用者安全。
需要留意的地方
- 參與面仍窄:約 1% 網絡屬研究試點,不能外推為全網已同等覆蓋;未參與客戶的體感可能與文中數字不同。
- 業務結果尚待下一階段:文章承認仍在衡量「更好發現」如何轉成站主的實際業務成果,現階段不宜過度解讀為保證流量或轉換。
- 發現初期可能短暫增加爬取:官方已說明新頁評估會加重短期負載,營運者需在監控中區分「有意義的新發現」與「異常爬取尖峰」。
- 有害頁信號仍在測試:假登入等標記屬早期結果,誤報/漏報率與申訴機制細節未在本篇展開,企業資安仍須以自身偵測與應變為主。
結語
Cloudflare 與 OpenAI 的七月研究試點,把「AI 找得到你的頁」從口號變成可度量的邊緣信號與索引結果:約百分之一網絡參與、數億新頁進入搜尋索引,並配套過濾無效爬取、變更再訪與頁級安全標記。對網站營運者而言,重點不只是追模型版本,而是把 URL 衛生、爬蟲治理與邊緣防護一次理順,讓有價值的公開內容更容易被合法發現,同時守住不應被抓取或已遭竄改的路徑。若香港團隊正加固邊緣防護、機械人治理、零信任與雲端遷移,可參考 YSK Limited 的雲端遷移與網絡安全(官網刊 99.99% SLA);若要把企業知識庫與內部助手留在本地、數據不出境,亦可一併了解企業私有 LLM 全託管/AI 自動化(年費 HK$88,000 起)。
參考來源
- Cloudflare Blog(主來源,聯名 OpenAI):https://blog.cloudflare.com/cloudflare-openai-discovery-agentic-web/(2026-10-15;Matthew Conroy、Jack Galilee、Henry Aspegren、James Balfour)
- Discovery:Cloudflare Blog RSS https://blog.cloudflare.com/rss/