Cloudflare 於二零二六年十月十二日在官方博客發表技術長文，說明 Logpush Transformers 如何在日誌匯出熱路徑以 SQL 先行篩選、脫敏與重塑紀錄，並指 Birthday Week 期間已讓自助計劃全面可用 Logpush，同時將 Transformers 列為正式全面可用（generally available）。來源真實性已驗證：產品機制、交付管線數字、失敗策略與計劃可用性以 Cloudflare 官方博客為準；定價與帳戶額度以 Developers 文件《Transformers》及 Logpush pricing 交叉核對，不以二手媒體另行推估。

對香港企業資安與可觀測性團隊而言，這把「先丟進 SIEM／物件儲存再清洗」的成本與隱私風險，前移到邊緣匯出之前：健康檢查與內部路徑可先丟掉、客戶 IP 可正則脫敏、多 CDN 欄位可正規化成統一 schema，再以 NDJSON 送達目的地。本文整理官方機制、技術架構、香港應用與評價。

Cloudflare／官方：Logpush Transformers 正式全面可用——匯出前以 SQL 篩選、脫敏與重塑日誌；Birthday Week 起自助計劃亦可開 Logpush

一、核心事件：匯出前的 SQL 轉換層，拿掉「先付再丟」

技術細節

官方指 Logpush 以批次盡快交付日誌，幾乎接近即時。觀測團隊常用它把 Cloudflare 日誌匯出到 SIEM、分析平台與物件儲存；但在抵達目的地之前，往往仍要另建處理服務去刪健康檢查、去掉敏感欄位，或重塑紀錄以配合儀表板與調查流程——這類中間層需要自行部署、擴容與維運，而且會為「一到站就丟掉」的紀錄付出匯出、攝取與儲存費用。

Transformers 把這段處理搬進 Logpush 匯出工作流：團隊以針對特定 Logpush dataset 的 SQL，定義要保留的紀錄與欄位；Logpush 在每批匯出前套用查詢——不符合 WHERE 的紀錄被移除，其餘以 SELECT 輸出作為匯出紀錄，可新增、重新命名、刪除或巢狀欄位，結果以 NDJSON 匯出。客戶可在控制台的 Transformer Studio 預覽與管理，或經 API 操作；儲存後可掛到使用同一 dataset 的相容 NDJSON Logpush job，每次更新會產生新版本以便追溯。

官文示例把 HTTP 請求日誌正規化成跨 CDN 的內部 schema：把時間戳轉成 Unix 秒、以正則把客戶 IP 末兩段脫敏、方法轉大寫、加入靜態 provider 欄位、把 host／path 巢狀進 request，並以 WHERE 排除內部與健康檢查路徑。官文強調：這不轉換序列化格式——輸入與輸出皆為 NDJSON。

Birthday Week 相關口徑方面，官文寫明當中已讓 所有自助計劃可用 Logpush，並將 Transformers 列為正式全面可用；該等變更屬 Cloudflare Observability 八大更新之一。Developers 文件另列：Transformers 適用 Free、Pro、Business、Enterprise，且僅支援 NDJSON 輸出的 Logpush job；每個帳戶每月含 1 GB transformation 輸入，超出按 每 GB 0.04 美元計（以官方 pricing 頁為準）。同一 Logpush job 可掛 transformer 或既有 filters，二者不可並用。

二、技術原理深度解析

Cloudflare 指其數據管線每秒攝取超過 十億 事件；名為 Bufstream 的 Logpush 交付服務每秒向客戶目的地交付超過 一億一千萬 筆 Logpush 紀錄，橫跨數以百計的 Kubernetes pod，各自從自家分散式日誌訊息代理 Buftee 認領時間切片。工作量呈 Pareto 形：多數 job 量較低，少數高量 job 每秒處理數百萬筆。

Transformers 必須與 Logpush 相同：可靠交付、高吞吐、資源可預期，且不在匯出熱路徑引入新故障面。團隊曾以 Cloudflare Workers 執行客戶定義的 WebAssembly 轉換做原型，但遠端呼叫會把網絡依賴插進匯出路徑，可能造成暫態逾時與重試、拖低吞吐並拉高延遲；最終改為在交付服務 進程內執行。引擎選用已驅動 Cloudflare Basin 的 Apache DataFusion（Rust 查詢引擎，建於 Apache Arrow），以 SQL planner 與向量化欄式執行。

官文基準：在單一 Go goroutine 上，對合成的五千列 http_requests 批次執行已準備好的 Transformer 約需 3 毫秒，約當每秒 一百六十萬 列。Bufstream（Go）與 DataFusion（Rust）以 Arrow IPC／cgo 交換批次；Go 在呼叫期間傳入輸入緩衝指標、呼叫結束後 Rust 不保留，輸出由 Go 複製後釋放，令跨執行期擁有權明確。dataset 的 schema 由 Logpush 規格產生並供給引擎，而非從單批日誌推斷，以便查詢驗證；FROM 子句的表名選定所用 schema。

失敗策略採 fail closed：轉換無法執行時，Bufstream 既不推進該 job 的交付 offset，也不把未轉換批次送出——以免破壞下游對 schema、篩選或脫敏的假設；改為重試，並對持續失敗的 job 逐步拉長重試間隔、回報錯誤，長時間失敗則自動停用。客戶可在 Logpush Health 的 Transformer Health 檢視成功／失敗轉換、轉換前後數據量與耗時。執行後 Bufstream 把 Arrow 輸出轉回 NDJSON，再批次、gzip 並上傳至目的地，沿用既有排程、批次與目的地併發控制。

四、日常應用場景

1. 開發者與技術團隊

可把「多 CDN／多來源日誌對齊同一 schema」寫成可版本控管的 SQL，在控制台預覽樣本後掛上 job，減少自建 ETL 微服務。仍須理解 dataset 欄位定義，並把 Transformer 與既有 filters 二選一的規則寫進維運手冊；輸出僅 NDJSON，若下游只吃其他格式，轉換仍要在更後段完成。

2. 企業與隱私敏感行業

匯出前脫敏（例如客戶 IP 部分遮罩）與丟掉健康檢查／內部路徑，有助降低 SIEM 授權與物件儲存費用，也減少敏感欄位在第三方分析平台的暴露面。金融、電商與受規管行業應把「邊緣已脫敏」與「目的地存取控制／留存政策」分開做數據流圖——Transformers 不取代合約、DPA 或本地留存要求。

3. 一般用戶

此為企業／開發者觀測功能，一般消費者不會直接操作。間接影響是網站與應用的日誌管線更乾淨、告警噪音更低時，故障排查與資安調查可更快收斂。

4. 香港與亞洲市場視角

香港企業普遍同時使用 Cloudflare 邊緣與一或多套 SIEM／數據湖；日誌量上升時，「先全量匯出再過濾」往往先打中攝取授權與跨境傳輸成本。Transformers 把篩選與脫敏前移到匯出前，並隨 Birthday Week 讓自助計劃也能開 Logpush，對中小團隊與分行／品牌站的統一觀測較友善。落地時應：確認 job 為 NDJSON、對照官方 pricing 估算超出 1 GB／月後的費用、在 Transformer Studio 預覽脫敏結果，並把失敗自動停用與 Health 指標納入值班 runbook。若日誌含個人資料，仍須對照公司私隱政策與跨境傳輸安排，不能假設「有 SQL 脫敏」即等同合規完成。

五、專業評價與潛在考量

優勢

• 官方博客與 Developers 文件可交叉核對：GA 口徑、Free–Enterprise 可用性、NDJSON 限制、每月 1 GB 及超出單價均有出處。
• 進程內 DataFusion＋Arrow、fail closed 與 Health 指標，顯示設計取捨偏向交付可靠與可預期資源，而非再加一層遠端 Workers。
• 硬數字（每秒逾十億事件攝取、Bufstream 逾一億一千萬筆／秒、約 3 毫秒／五千列基準）利於容量與成本討論。
• 與十月初 Observability「八大更新」總覽（本站較早報道）相比，本文專攻 Transformers 架構與操作面，屬可核對的進一步技術公開，而非同一稿重發。

需要留意的地方

• 僅 NDJSON job；與既有 filters 互斥——遷移時要重寫邏輯，不能「filters 再加 Transformer」。
• 轉換失敗會擋住該批交付（fail closed），持續失敗可致 job 自動停用，需監控與告警，否則可能出現日誌空窗。
• 定價以 transformation 輸入 GB 計；過濾掉的資料仍可能計入輸入，實際帳單要以官方 pricing 與控制台用量為準。
• SQL 能力受支援函數與「單語句」契約限制；複雜多段 ETL、跨批聚合仍須下游系統。
• 官文基準為合成批次與單一 goroutine 場景，生產高量 job 的實際延遲／CPU 開銷視查詢複雜度與目的地速度而定。

結語

Cloudflare 把 Logpush Transformers 推到正式全面可用，並以進程內 SQL 引擎把篩選、脫敏與 schema 重塑放進匯出前熱路徑，同時讓自助計劃也能使用 Logpush。對要在香港收斂 SIEM 成本、降低敏感欄位外流、又想少維運一層 ETL 的團隊，這是可立即對照官方 Studio／API 與 pricing 做 PoC 的觀測能力；公有邊緣日誌管線適合先驗證轉換與脫敏策略，真正涉及客戶敏感數據與合規審計時，仍須搭配可管治的雲端與網絡安全設計。

若你正評估雲端遷移、日誌／SIEM 管線或零信任相關加固，可參考 YSK Limited 的雲端遷移與網絡安全（官網刊 99.99% SLA）：https://ysk.hk/services/cloud-security 。合約優先全端腳手架見 YSK Kit v1.5.0（https://ysk.hk/products/ysk-kit ）；單機 Linux 控制平面見 YSK Server v1.1.28（https://ysk.hk/products/ysk-server ）；本機模型 API 閘道可對照 YSK Omni v1.0.4（https://ysk.hk/products/ysk-omni ）。查詢：WhatsApp +852 6160 4242 或 [email protected]。

參考來源

1. Cloudflare 官方博客（2026-10-12）：Filter, reshape, and redact logs before export with Transformers — https://blog.cloudflare.com/transformers-on-logpush/
2. Cloudflare Developers 文件：Logpush Transformers — https://developers.cloudflare.com/logs/logpush/transformers/
3. Cloudflare Developers 文件：Logpush pricing — https://developers.cloudflare.com/logs/logpush/pricing/
4. Cloudflare Developers API：Logpush Transformers — https://developers.cloudflare.com/api/resources/logpush/subresources/transformers/
5. Cloudflare 官方博客（Birthday Week／Observability 脈絡，交叉核對）：https://blog.cloudflare.com/birthday-week-2026-wrap-up/ ；https://blog.cloudflare.com/one-observability-platform/