Cloudflare/官方:為 Verified bots 引入持續問責——信任區間衡量是否尊重 robots.txt 與 HTTP 429;分數將上 Radar

重點摘要

Cloudflare 於官方部落格公布「Verified bots」持續問責機制:在身份驗證之上,以可解釋的信任區間衡量機械人是否長期尊重網站偏好;來源真實性已驗證:本文事實核對自 Cloudflare Blog《Continuous accountability for Verified bots》(2026-10-16)及文中所述 Web Bot Auth、BotBase、Bot Preference Sync 與 Bot Management 產品脈絡。

Cloudflare/官方:為 Verified bots 引入持續問責——信任區間衡量是否尊重 robots.txt 與 HTTP 429;分數將上 Radar

Cloudflare 於官方部落格公布「Verified bots」持續問責機制:在身份驗證之上,以可解釋的信任區間衡量機械人是否長期尊重網站偏好;來源真實性已驗證:本文事實核對自 Cloudflare Blog《Continuous accountability for Verified bots》(2026-10-16)及文中所述 Web Bot Auth、BotBase、Bot Preference Sync 與 Bot Management 產品脈絡。

Cloudflare/官方:為 Verified bots 引入持續問責——信任區間衡量是否尊重 robots.txt 與 HTTP 429;分數將上 Radar

雲端安全商 Cloudflare 於 2026 年 10 月 16 日在官方部落格宣布,為「已驗證機械人」(Verified bots)推出持續行為問責系統。重點不再只是證明「你是誰」,而是長期追蹤「你是否仍值得信任」:系統會觀察機械人是否遵守網站發布的偏好(例如 robots.txt),以及收到 HTTP 429(Too Many Requests)後是否減速或暫停,並把這些觀察收斂成可解釋的信任區間(trust band)。官方表示未來會把相關分數公開於 Cloudflare Radar,並計劃讓客戶自訂信任門檻,以決定如何處理已驗證機械人流量。

一、核心事件:身份驗證之後,還要持續再驗證

技術細節

官方以駕照作比喻:駕照證明身份與基本資格,並不保證日後一定安全駕駛。同樣地,機械人即使通過身份驗證,仍可能無視網站偏好、壓垮來源站,或以規避手段繞過控制;原因未必惡意,亦可能是設定錯誤或缺陷。

Cloudflare 指出,成為 Verified bot 大致需符合三項準則:

  1. 準確且安全地表明身份
  2. 只做自己聲稱會做的事
  3. 不從事濫用行為

身份層面,機械人透過 Web Bot Auth 簽署請求以建立身分,並由 BotBase 以開放格式編目。今日發布的系統,則把焦點移到第三項「不從事濫用」,並把「風險」與「信任」分開處理:風險可隨單一請求即時變化;信任則靠長時間、一致的行為累積。

官方舉例:2025 年曾因 Perplexity 的機械人存取已選擇退出擷取的網站資源,並在被阻擋後嘗試規避控制,而將其從 Verified bot 名單除名——說明「已驗證」並非永久護身符。

二、技術原理深度解析

新系統量測機械人尊重網站偏好的頻率,並轉成可解釋的信任區間:顯示其遵守偏好的一致性,以及哪些觀察行為構成評估依據,而不是對營運者作永久標籤。初期信號包括:

  • 機械人是否尊重指示?
  • 是否回應直接回饋?

robots.txt 與 RFC 9309

robots.txt 是網站表達偏好的主要方式。系統會檢視機械人實際流量是否長期符合已發布規則;孤立違規未必足以定案,重點是反覆無視偏好的模式。官方強調期望與 RFC 9309 一致:負責任的機械人應查閱並遵守網站發布的偏好。同時澄清:robots.txt 訂的是「最低限度不該做的事」,並不意味未寫明的行為一律允許;網站亦可用其他信號表達「請停止繼續存取」。

HTTP 429 與負載行為

即使機械人全程走在允許路徑上,仍可能對網站造成沉重負載。網站可用 HTTP 429 要求訪客降低請求速率,有時亦附帶重試等待指引。系統會觀察機械人收到 429 後是否減速、暫停,或維持原速;持續配合會提高信任,反覆無視則降低信任區間。

官方指,此系統已與 Bot Preference Sync、Bot Management 形成自動化流量的問責迴路:Preference Sync 協助網站發布偏好;行為觀察顯示 Verified bots 是否持續兌現;Bot Management 則讓站主決定如何處置流量。內部已用該系統評估 Verified bots 遵守偏好的一致性,並正累積歷史以把觀察轉成可用指引;其後計劃向所有 Cloudflare 客戶開放,讓客戶自選信任門檻來處理已驗證機械人流量。

四、日常應用場景

1. 開發者與技術團隊

若團隊營運搜尋、摘要、代理或資料蒐集機械人,應優先完成 Web Bot Auth 身份聲明,並把 robots.txt 與 429 退避寫進預設策略,避免「已驗證」卻因行為失準被降信任或除名。

2. 企業與隱私敏感行業

金融、醫療、法律等網站可把「允許哪些已驗證機械人」與信任區間結合,減少假冒爬蟲與過度抓取;亦可用 Bot Preference Sync 對齊公開偏好與實際防護政策。

3. 一般用戶

對一般讀者而言,意義在於:標示為「可信機械人」的流量,將更依賴可持續行為,而非一次性認證——有助降低惡意或失控代理對內容站與個人網站的壓力。

4. 香港與亞洲市場視角

香港企業網站、電商與新聞媒體正面對代理式瀏覽與 AI 擷取量上升。結合身份驗證與持續問責,有助本地站主在開放合理機器存取與保護來源站負載之間取得平衡;亦提醒在港部署的爬蟲/代理服務商,合規不只是 User-Agent 字串,而是可審計的長期行為。

五、專業評價與潛在考量

優勢

  • 把「身份」與「信任」解耦,符合代理網絡時代的風險現實。
  • 信任區間強調可解釋信號(robots.txt、429 響應),較易對營運者與站主溝通。
  • 與 Radar 公開分數、客戶自訂門檻的路線圖,有助形成產業可見的行為基準。

需要留意的地方

  • 分數公開與客戶門檻仍屬路線圖/內部累積階段,站主現階段仍須依賴既有 Bot Management 與 Preference Sync。
  • 「反覆模式」門檻如何定義、誤殺負責任爬蟲的風險,需待公開分數與文件後再驗證。
  • 單一供應商的信任帶並非全球標準;跨 CDN、跨司法管轄的互通仍待觀察。

結語

Cloudflare 今次把 Verified bots 從「一次性身份認證」推進到「可持續行為問責」:Web Bot Auth 解決你是誰,信任區間回答你是否長期守規。對香港與亞洲需要同時開放機器存取又守住來源站的團隊而言,這是可操作的治理方向。如需在香港部署零信任存取、機器人管理與雲端防護,可參考 YSK Limited 的雲端遷移與網絡安全服務(https://ysk.hk/services/cloud-security)。


參考來源

  1. Cloudflare Blog, Continuous accountability for Verified bots, 2026-10-16, https://blog.cloudflare.com/verified-bots-accountability/
  2. Cloudflare Radar(Verified bots 趨勢;官方文末指引), https://radar.cloudflare.com/

延伸閱讀 · 相關服務與產品