OpenAI Codex 拿到滑鼠了:桌面 Computer Use 功能完整解析
2026 年 4 月 16 日,OpenAI 悄悄把 Codex 從「會寫程式的 AI」升級成「會用電腦的 AI」。這次更新的核心是 Computer Use——Codex 可以在你的 Mac 上啟動一個獨立的虛擬工作區,用自己的滑鼠游標和鍵盤操作任何 App,同時完全不干擾你正在做的事。
看到這個消息的時候,第一反應是:這不就是 Claude 的 Computer Use 嗎?但 Codex 的實作方式有幾個明顯不同的地方,值得仔細看。
這次更新到底改了什麼
官方把這次更新命名為 “Codex for (almost) everything”,幾個主要項目:
- Computer Use:Codex 可以操作 Mac 上任何 App,擁有獨立游標,不搶你的焦點
- 平行 Agent 執行:同時跑多個 Agent 處理不同任務
- 90+ 個新 Plugins:整合 JIRA、CircleCI、GitLab、SSH devbox 等開發工具
- 內建瀏覽器:直接在 App 內預覽前端頁面
- 記憶功能:記住你的偏好設定和操作習慣
- 排程任務:讓 Agent 在幾天或幾週後繼續未完成的任務
Computer Use 的運作方式
最有意思的部分是 Computer Use 的「沙盒虛擬工作區」設計。
Codex 不是直接接管你的桌面,而是在後台啟動一個隔離的虛擬工作空間,在那個空間裡用自己的游標執行操作。你的游標繼續在你的 App 裡動,Codex 的游標在它的工作區裡動,兩者互不干擾。
這解決了 Computer Use 最讓人不安的問題:你不用擔心 AI 突然跳出來搶走你的鍵盤輸入,或者你一個手滑打斷了 Agent 正在執行的流程。
你的視窗 Codex 的工作區(背景)
┌──────────────────┐ ┌──────────────────┐
│ VS Code │ │ 虛擬桌面 │
│ (你在這裡工作) │ │ ← Codex 游標在這 │
│ │ │ 開啟 Xcode │
│ │ │ 修改 Info.plist │
└──────────────────┘ └──────────────────┘
官方說法是「multiple agents can run in parallel, without interfering with your own work」,而且不會搶走任何 App 的焦點。
TIP — 目前 macOS 限定
Computer Use 目前只在 macOS 上可用,歐盟和英國用戶要等後續推出。Windows 版本和 CLI 版本目前還沒有這個功能。
90+ Plugins:把開發工具串起來
這次同步開放的 Plugin 數量驚人,超過 90 個。幾個對開發者比較實用的:
| Plugin | 用途 |
|---|---|
| Atlassian Rovo | 管理 JIRA ticket,讓 Codex 直接建立/關閉 issue |
| CircleCI | 查看 CI 狀態、觸發 pipeline |
| CodeRabbit | 整合 AI code review |
| GitLab Issues | 操作 GitLab 的 issue 和 MR |
| Superpowers | 連接 Superpowers 的 AI 工具鏈 |
| Neon by Databricks | 資料庫操作 |
| Remotion | 影片渲染任務 |
| SSH Remote Connections | 連到遠端 devbox 執行任務 |
SSH 連線這個特別值得一提。在設定裡加入 SSH host 後,Codex 可以直接 SSH 進你的遠端開發環境執行任務——讀取檔案、跑指令、寫入修改,全部在遠端主機上進行。對於習慣用 cloud devbox(像 Gitpod、Coder)的開發者來說,這個整合很直接。
# 在 Settings > Connections 加入 SSH 主機後
# Codex 可以執行類似這樣的任務:
> "在 staging 伺服器上執行 database migration,
> 然後跑 smoke test,告訴我結果"
內建瀏覽器:前端迭代更快
另一個讓我覺得實用的功能是內建瀏覽器。以前叫 Codex 修 UI 問題,它看不到渲染結果,你要自己開瀏覽器確認,再貼截圖給它。
現在 Codex 的 App 裡直接有一個瀏覽器視窗,可以預覽前端頁面。讓它修一個 CSS 問題,它可以直接看修改後的效果,不用靠你傳截圖來回溝通。
官方的描述是「make it faster to iterate on frontend designs, apps, and games」,感覺主要定位是 vibe coding 的使用場景。
記憶和排程任務
記憶功能讓 Codex 可以記住你的工作習慣和偏好,比如你偏好的 commit message 格式、命名慣例、deploy 流程。這些資訊會在之後的任務中自動帶入。
排程任務(Automations)則是讓你設定某些任務定期執行,或者讓一個長時間的 Agent 在幾天後繼續——例如「每週一早上幫我整理上週的 PR review comments」這種需求。
WARNING — 需要謹慎授權
Computer Use + 排程任務的組合意味著 AI 可以在你不在場的時候自動操控你的電腦。使用前要仔細想清楚要給哪些權限,建議限制在特定資料夾或 App 的存取範圍。
個人觀點
看完這次更新,覺得 Codex 和 Claude Code 現在的定位差異越來越清楚:
Claude Code 走的是終端機 CLI 路線,強調 hooks、automation、與開發工作流深度整合。它的 Computer Use 目前更偏向「讀取螢幕資訊」,而不是「主動操控 App」。
Codex 則越來越像一個桌面 GUI Agent,靠視覺操控 App 的方式工作。多個 Agent 平行執行、90+ plugins 的生態系、內建瀏覽器——這些都是往「超級 App」的方向走。
對我來說,SSH 連到 remote devbox 這個功能最實際,因為很多開發工作本來就在遠端環境進行。Computer Use 的沙盒設計也設計得很聰明,不搶焦點這點讓人比較放心開著背景跑。
至於 90+ plugins 的生態系…光是整合 JIRA 和 CircleCI 就值回票價了,前提是這些 plugins 的品質夠好。實際用起來如何還要再觀察。
資料來源
- Codex for (almost) everything | OpenAI
- OpenAI Updates Codex With Computer Use, In-App Browser, Memory, and 90-Plus New Plugins - gHacks Tech News
- OpenAI Codex Desktop App Major Update (April 2026) - SmartScope
- Computer Use – Codex app | OpenAI Developers
- Remote connections – Codex | OpenAI Developers
- OpenAI Codex Mac Update - MacRumors
留言