Google DeepMind 推出 Gemini 代理式影片理解：token 最多減八成八，長片分析成本大降

Key takeaway

Google DeepMind 於 2026 年 9 月 1 日在官方 Google 博客宣佈，為最新 Gemini Flash 系列加入「代理式影片理解」（agentic video understanding）。相較固定幀率的靜態取樣，模型會按任務主動搜尋、掃描並檢查相關片段，橫跨畫面、音訊與字幕／轉寫。官方標稱在標準影片分析基準上，token 消耗最多可減約 88%、分析成本最多約減 66%，準確度最多提升約 7%。本文已核對 Google 官方公告與 Gemini Enterprise Agent Platform 文件，來源真實性已驗證；X 上 @GoogleDeepMind 帖文僅作發現線索。

Google DeepMind 推出 Gemini 代理式影片理解：token 最多減八成八，長片分析成本大降

Google DeepMind 推出 Gemini 代理式影片理解：token 最多減八成八，長片分析成本大降

Google DeepMind 於 2026 年 9 月 1 日在官方 Google 博客宣佈，為最新 Gemini Flash 系列加入「代理式影片理解」（agentic video understanding）。相較固定幀率的靜態取樣，模型會按任務主動搜尋、掃描並檢查相關片段，橫跨畫面、音訊與字幕／轉寫。官方標稱在標準影片分析基準上，token 消耗最多可減約 88%、分析成本最多約減 66%，準確度最多提升約 7%。本文已核對 Google 官方公告與 Gemini Enterprise Agent Platform 文件，來源真實性已驗證；X 上 @GoogleDeepMind 帖文僅作發現線索。

一、核心事件：從「整段掃幀」到「按目標取樣」

技術細節

DeepMind 指，傳統靜態處理預設約以每秒一幀（1 FPS，可經 API 調整）把整段影片餵進模型；長片（例如十分鐘教學、九十分鐘講座或數小時錄影）往往逼開發者在「高 token 帳單」與「抽樣漏細節」之間二選一。代理式模式則讓 Gemini 在代理迴圈中決定看甚麼、以甚麼速度、以及優先用視覺幀、音訊還是轉寫，再透過內建影片工具只載入所需時段。

即日支援模型包括 Gemini 3.7 Flash、3.6 Flash、3.5 Flash-Lite。功能已透過 Google AI Studio 的 Gemini API，以及 Gemini Enterprise Agent Platform 開放，可用於上載影片與 YouTube 連結；官方強調按標準 Gemini API token 計價，不另收功能費。啟用方式是在請求中把處理模式設為 agentic（文件亦寫 media_processing / mediaProcessing = AGENTIC）。官方並表示功能稍後會推廣至 Gemini App 的 Flash／Flash-Lite，並預計未來數月支援 YouTube 觀看頁的「Ask YouTube」。

二、技術原理深度解析

核心差異不在「更大模型」，而在檢索策略：靜態管線把時間軸均勻切成幀序列；代理式管線把影片理解拆成可呼叫的原生工具——搜尋關鍵時刻、動態調整 FPS、對可疑視窗重播細看。公告列出的能力包括：

  • 亞秒級時刻檢索：捕捉固定 1 FPS 容易漏掉的瞬間狀態變化與剪接點，利於自動化剪輯。
  • 長片「大海撈針」：對多小時內容回答複雜問題，而不必一次吞下數百萬 token。
  • 異常偵測：對感興趣時段提高取樣率，檢查快速動作與細微視覺瑕疵。
  • 計數與追蹤：更準確統計重複動作與物件。

Enterprise 文件補充：同一請求可對不同影片混用 agentic 與 static（長講座用代理、短片用靜態以保幀級精度）；多輪對話時回應可能帶有不透明的 step_list，後續回合必須帶回，否則影片上下文會丟失。Agentic 目前屬 Generative AI Preview，僅在支援清單內的 Flash 系列模型可用，來源包括 YouTube URL、Cloud Storage URI 與 inline Base64。

四、日常應用場景

1. 開發者與技術團隊

長教學、會議錄影、客服通話畫面、產品拆解片的問答與摘要，可在控制成本下提高召回。API 仍用標準 token 定價，適合在現有 Gemini 工作流加開關試跑，再以自家長片基準比對漏檢率與延遲。

2. 企業與隱私敏感行業

培訓片合規抽查、廠房／門市監控片段異常提示、醫療教學影片檢索等，往往同時受 成本上限與資料出境 約束。代理式降低雲端分析帳單，但影片本體仍可能經公有 API 上傳；涉及病歷、員工影像或客戶畫面時，仍須獨立評估託管位置與保留政策。

3. 一般用戶

公告預告 Gemini App 與 YouTube「Ask YouTube」將受惠於同樣效率與品質提升——例如對長講座問「第三個重點在哪一段」，理論上更準、更省算力。消費者端上線時間以 Google 產品更新為準。

4. 香港與亞洲市場視角

香港企業大量使用會議錄影、線上培訓與門市 CCTV 作營運依據；若直接把含個人資料的長片送往境外公有多模態 API，可能觸及《個人資料（私隱）條例》（PDPO）對敏感處理的要求。對銀行、診所、律師行與連鎖零售而言，更實際的路徑往往是：公開雲負責非敏感示範與原型，正式流量則落在可控私有推理環境，並為代理取樣行為寫清審計與人工覆核。

五、專業評價與潛在考量

優勢

  • 官方同時報導 token、成本與準確度三者改善，且 3.7 Flash 被放在「準確度／成本」帕累托前沿敘事，對長片工作負載具商業說服力。
  • 無額外功能費、可與現有 Gemini API 共存，降低試用門檻。
  • 文件對多輪 step_list、混用 static／agentic 有明確工程指引。

需要留意的地方

  • 功能仍標示 Preview；生產環境須自行量測延遲、失敗重試與漏檢。
  • 官方未公開逐項基準拆表；模糊提問時代理是否過度跳過關鍵段落，需用業務樣本驗證。
  • 降低 token 不等於解決資料主權：影片若離開管轄區，PDPO 與行業合規責任仍在企業一方。

結語

代理式影片理解把「看片」從均勻抽幀，改成目標導向的搜尋與重播，直接撞擊長片 AI 產品的單位經濟。對香港技術團隊而言，重點不只是開關一個 agentic 旗標，而是同時規劃成本、準確度與資料落地。若企業需要把多模態能力放在可控環境——包含 Dataset 準備、QLoRA／LoRA 微調與 OpenAI 相容私有 API，並強調數據不出境——可參考 YSK Limited 的企業私有 LLM 全託管（年費 HK$88,000 起）：https://ysk.hk/services/ai-automation。

參考來源

  1. Introducing agentic video understanding with Gemini（Google／DeepMind 官方，2026-09-01）
  2. Video understanding — Agentic video understanding（Google Cloud 文件）
  3. Agentic video understanding in Gemini: Developer Guide（Google AI Studio）
  4. X 發現線索：@GoogleDeepMind 代理式影片理解帖文（僅發現，非事實來源）

Related services & products

Related posts