agent-desktop

agent-desktop

让AI代理操作桌面应用的命令行

AI官网

应用介绍

让 AI 代理替你点软件,常见做法是截图再靠像素猜按钮在哪,换了分辨率或主题就点歪。agent-desktop 换了条路:直接读操作系统的无障碍树,给界面上每个能操作的元素一个稳定的 ref,代理按 ref 点击,再重新读一遍确认结果,不靠像素匹配。它是 Vercel Labs 出品的 Rust 命令行加 C 库,Windows、macOS、Linux 都能用,npm 一条命令安装。

它只是个工具,不是代理:观察、操作、验证的循环由调用它的代理或脚本负责,里面没有模型。默认在后台执行,不抢你的鼠标和焦点,需要真实输入时再加 --headed。注意截图、剪贴板和快照里可能带着你桌面上的私人内容,别把它们传到公开日志。

软件功能



快照与 ref:输出 JSON,每个可操作元素带一个属于该快照的 ref,界面变了会返回 STALE_REF,提示重新快照。

后台操作:通过无障碍接口执行动作,不移动指针也不抢焦点,你可以继续干自己的活。

密集应用的分层读取:先用骨架模式看整体,再针对某个区域深入,大型应用也不会一次读爆。

跨平台:macOS 需要授予辅助功能权限,Windows 同级别应用无需授权,Linux 需要 at-spi2-core。

自带说明:agent-desktop skills get desktop 会输出和当前版本匹配的使用指南,方便代理自己读。

C 库:除了命令行,也提供 C 库供其他程序集成。

应用截图