Anthropic 讓 Claude 背景操控電腦:Cowork 與 Claude Code 可點擊打字開應用,Pro/Max 桌面版 beta

重點摘要

Anthropic 官方帳戶 @claudeai 於 2026 年 9 月 2 日(UTC 19:06;香港時間 9 月 3 日約 03:06)宣布:Claude 現可在 Claude Cowork 與 Claude Code 中「使用你的電腦」——在桌面背景點擊、打字、開啟應用,讓用戶同時處理其他工作。本文已核對 Anthropic Help Center〈Let Claude use your computer in Cowork〉(該頁標示於最近一小時內更新)、Claude API 文件〈Computer use〉(computer_toolset_20260801)以及 claude.com/download 產品頁,來源真實性已驗證。以下整理機制、風險與香港企業應如何評估。

Anthropic 讓 Claude 背景操控電腦:Cowork 與 Claude Code 可點擊打字開應用,Pro/Max 桌面版 beta

Anthropic 官方帳戶 @claudeai 於 2026 年 9 月 2 日(UTC 19:06;香港時間 9 月 3 日約 03:06)宣布:Claude 現可在 Claude Cowork 與 Claude Code 中「使用你的電腦」——在桌面背景點擊、打字、開啟應用,讓用戶同時處理其他工作。本文已核對 Anthropic Help Center〈Let Claude use your computer in Cowork〉(該頁標示於最近一小時內更新)、Claude API 文件〈Computer use〉(computer_toolset_20260801)以及 claude.com/download 產品頁,來源真實性已驗證。以下整理機制、風險與香港企業應如何評估。

一、核心事件:桌面代理從「有連接器才行」走到「沒有工具也能操作畫面」

技術細節

根據官方說明,當啟用 computer use 且 Claude 沒有合適的 connector 或工具時,它可以直接與螢幕互動:點擊、輸入、開啟本機應用;亦可在瀏覽器開啟檔案、自動跑開發工具,除啟用外無需額外設定。

Cowork 的優先順序寫得很清楚:

  1. Connectors(Gmail、Google Drive、Microsoft 365、Slack 等)——最快、最穩
  2. Browser——內建瀏覽器,或經 Claude in Chrome 使用用戶自己的 Chrome
  3. Screen interaction(computer use)——直接操作桌面畫面

功能目前為 beta,限 Pro 與 Max 方案;在 Claude Desktop(macOS 與 Windows)的 Cowork 與 Claude Code 中提供。官方明確寫明:Team 與 Enterprise 計劃暫未開放 computer use。電腦需保持喚醒,且桌面 App 須開啟。

在 macOS 15 或更新版本,Claude 預設可在背景視窗工作,一般不會搶走指標與鍵盤;首次需要全螢幕存取時會先徵求權限。用戶亦可在 Settings → General 把「When Claude requests access to an app」設為「Full control」。

二、技術原理深度解析

桌面產品與 API 是同一能力的兩條交付路徑。

消費端(Desktop Cowork/Claude Code)
Claude 透過截圖理解畫面,再發出點擊/打字等動作。權限採「每個應用先問再准」;投資交易、加密貨幣等敏感應用預設封鎖,用戶亦可自訂 blocklist。系統會掃描 prompt injection 跡象,並在存取新應用前再問一次。官方同時提醒:computer use 與本機應用之間沒有 sandbox——動作可跨應用連鎖(例如電郵裡點連結會打開瀏覽器)。

開發端(Claude API)
文件描述 computer_toolset_20260801:一次宣告即可獲得約 17 個成員工具(screenshot、left_click、type、zoom 等)。應用程式在你控制的環境執行每一個呼叫,再把結果(尤其是截圖)回傳,形成 agent loop。官方強烈建議用低權限虛擬機/容器、域名 allowlist,並對有現實後果的操作要求人類確認。API 路徑標示為 ZDR eligible(客戶端工具,螢幕與鍵鼠資料由你的環境保存),但消費端桌面版會把可見畫面截給模型看——兩者的資料邊界不同,企業評估時不可混為一談。

四、日常應用場景

1. 開發者與技術團隊

在電話模擬器裡點 UI、找 UX 問題;對沒有 connector 的內部儀表板或專用工具做探索式操作;與 Claude Code 搭配,把「看畫面 → 改碼 → 再驗證」收成一條本機迴路。官方亦提醒:複雜多步驟流程可能要再試一次,螢幕互動通常比 connector 慢。

2. 企業與隱私敏感行業

這正是能力與風險同時放大的地方。computer use 會截取已授權應用的畫面,因此螢幕上可見的客戶資料、合約、病歷、交易介面都可能進入模型上下文。官方強烈建議:不要把 computer use 權限開給銀行、醫療、政府等敏感應用;亦不要用它處理法律文件、醫療資訊或他人個人資料。金融、法律、醫療等受規管行業,更適合把代理鎖在受控環境(私有部署、虛擬機、零信任桌面),而不是讓 SaaS 代理直接「看見」員工筆電。

3. 一般用戶

適合整理本機檔案、彙整競品研究成報告、操作沒有現成整合的日常 App。建議由簡單任務開始,提示要具體,並持續監察早期執行過程。

4. 香港與亞洲市場視角

香港《個人資料(私隱)條例》(PDPO)要求資料使用者採取切實可行措施保障個人資料。當 AI 代理可以「看畫面、點應用」,螢幕即時內容可能構成個人資料處理;跨境傳輸、委託處理與保留期限都需要重新盤點。對本地金融、專業界別與政府外判項目而言,「Pro/Max 個人桌面 beta」與「企業可控、可稽核的代理執行環境」之間仍有明顯落差——後者往往更需要私有模型、本機/境內託管,以及可寫入政策的權限邊界。

五、專業評價與潛在考量

優勢

  • 補上「沒有 API/connector」的長尾應用缺口,代理不再只靠猜按鈕
  • macOS 背景執行降低「搶鍵盤」摩擦,較接近真實助理工作流
  • API toolset 與文件成熟,方便企業在自有沙箱落地同一類能力
  • 預設封鎖部分高風險 App,並有逐 App 授權與注入偵測

需要留意的地方

  • 無 sandbox:一條錯誤指令可跨應用造成不可逆變更
  • 截圖即可見內容:敏感資料防護不能只靠模型「被訓練去避開」
  • 暫未開放 Team/Enterprise;企業治理、SSO 與審計尚未對齊這條 beta 路徑
  • Linux 桌面版目前尚未提供 Computer Use(官網 FAQ:coming soon)
  • 延遲與視覺定位仍可能出錯;不適合要求零失誤的關鍵操作

結語

Claude 的 computer use 把「會寫程式的模型」推進成「能操作桌面的代理」:對個人生產力是明顯躍進,對企業則把身份、權限、畫面資料與跨境合規一次攤開。若香港機構要採用同類能力,較穩妥的路徑通常是:先在隔離環境驗證工作流,再決定哪些任務可上雲、哪些必須留在境內私有堆疊。

如需在香港部署可控的企業私有 LLM(資料集 → QLoRA/LoRA → 私有 API,100% 數據不出境,年費 HK$88,000 起),可參考 YSK Limited 的企業私有 LLM 全託管(https://ysk.hk/services/ai-automation)。


參考來源

  1. Anthropic Help Center,〈Let Claude use your computer in Cowork〉:https://support.claude.com/en/articles/14128542-let-claude-use-your-computer-in-cowork
  2. Anthropic Docs,〈Computer use〉(computer_toolset_20260801):https://docs.claude.com/en/docs/agents-and-tools/computer-use
  3. Claude Download / Desktop FAQ:https://claude.com/download
  4. X 發現來源(非事實依據):https://x.com/claudeai/status/2095226833293685100

延伸閱讀 · 相關服務與產品