trycua/cua

Scale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.

這是什麼

Cua 的定位很直接：把可被 AI agent 操作的電腦交給 agent。它不是單一的瀏覽器自動化工具，而是一組圍繞「computer-use」任務的開源工具箱：有可在雲端配置隔離桌面的 Cua Fleets，有讓 agent 檢視與操作 macOS、Windows、Linux 原生桌面應用與瀏覽器的 Cua Driver，也有在 Apple Silicon 上建立本機 macOS／Linux VM 的 Lume，以及用來建立任務、評估 agent、匯出軌跡資料的 Cua Bench。README 也把 CUA-S1 放在同一個脈絡下：這是一組偏向快速、邊界明確決策的小型專門模型，第一個研究方向聚焦表單類任務，而不是取代通用 agent 的規劃與推理。

為什麼上榜

它今天拿到 859 顆星、累積約 24,384 stars，熱度來自一個很明確的時機點：大家不只想讓 agent 呼叫 API，也開始需要它能在真實桌面、沙盒、VM、GUI app 之間移動。Cua 的亮點是把這件事拆成幾個可組合層次：雲端桌面負責隔離與規模化，本機 VM 負責可控環境，Driver 負責實際操作介面，Bench 負責評測與資料軌跡。這比單純「讓模型點螢幕」更工程化，也更接近訓練、評估、資料生成會遇到的問題。不過 README 也提醒了邊界：背景操作是否不搶滑鼠焦點，要看 app 與平台支援；雲端 Fleet 的 pool 可能保留付費容量，因此清理步驟不能省略。

適合誰，可以拿來做什麼

Cua 適合正在做 computer-use agent、桌面自動化、跨平台 GUI 測試、沙盒化任務環境或 agent 評測的人。若你只是想寫一支簡單的瀏覽器腳本，它可能偏重；但若任務會跨到 LibreOffice、Inkscape、Calculator、瀏覽器或完整 Linux／macOS 桌面，它提供的抽象就有價值。研究者可以關注 Cua Bench 與 CUA-S1：前者可建立任務、跑參考解法並檢查 evaluator reward；後者則把表單決策拆成較小、較快的判斷。工程團隊則可能會從 Fleets 與 Sandbox SDK 切入，把 agent 放進隔離桌面中執行命令、截圖、操作應用，再把結果帶回工作流。

上手

README 給了幾條最重要的入口。若要裝 Cua Driver，macOS／Linux 可用：

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

Windows PowerShell 則是：

irm https://cua.ai/driver/install.ps1 | iex

若要在 Apple Silicon 建立本機 VM，可安裝 Lume：

/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"

若要試 Cua Bench，README 指出需有 Python 3.12 或 3.13 與 uv：

uv tool install 'cua-bench[browser]'
uv tool run --from 'cua-bench[browser]' playwright install chromium

雲端 Fleets 則建議從官方教學開始，流程包含配置 Linux desktop、執行 uname -a、截圖，以及刪除雲端資源。

README 重點摘要

• Cua 把 Fleets、Driver、Lume、Bench、CUA-S1 放在同一套 computer-use 工作流裡，目標是讓 agent 能在桌面環境中完成任務。
• Cua Driver 支援透過 CLI、MCP 或 typed SDKs 連接，並可在平台允許時做背景操作，但實際能力受平台與應用支援範圍限制。
• CUA-S1 是早期、source-only 的研究發布；模型權重另放在 Hugging Face，使用時應檢查各模型與資料集卡的範圍、限制與授權。
• Cua Bench 可從不需要 VM、Docker 或模型 API key 的模擬任務開始，並用 evaluator reward 驗證參考解法。
• 專案本身採 MIT License，但 README 也列出第三方元件與可選依賴可能有各自授權，例如 OmniParser、ultralytics 等。