应用介绍
让 AI 代理替你点软件,常见做法是截图再靠像素猜按钮在哪,换了分辨率或主题就点歪。agent-desktop 换了条路:直接读操作系统的无障碍树,给界面上每个能操作的元素一个稳定的 ref,代理按 ref 点击,再重新读一遍确认结果,不靠像素匹配。它是 Vercel Labs 出品的 Rust 命令行加 C 库,Windows、macOS、Linux 都能用,npm 一条命令安装。
它只是个工具,不是代理:观察、操作、验证的循环由调用它的代理或脚本负责,里面没有模型。默认在后台执行,不抢你的鼠标和焦点,需要真实输入时再加 --headed。注意截图、剪贴板和快照里可能带着你桌面上的私人内容,别把它们传到公开日志。
快照与 ref:输出 JSON,每个可操作元素带一个属于该快照的 ref,界面变了会返回 STALE_REF,提示重新快照。
后台操作:通过无障碍接口执行动作,不移动指针也不抢焦点,你可以继续干自己的活。
密集应用的分层读取:先用骨架模式看整体,再针对某个区域深入,大型应用也不会一次读爆。
跨平台:macOS 需要授予辅助功能权限,Windows 同级别应用无需授权,Linux 需要 at-spi2-core。
自带说明:agent-desktop skills get desktop 会输出和当前版本匹配的使用指南,方便代理自己读。
C 库:除了命令行,也提供 C 库供其他程序集成。
它只是个工具,不是代理:观察、操作、验证的循环由调用它的代理或脚本负责,里面没有模型。默认在后台执行,不抢你的鼠标和焦点,需要真实输入时再加 --headed。注意截图、剪贴板和快照里可能带着你桌面上的私人内容,别把它们传到公开日志。
软件功能
快照与 ref:输出 JSON,每个可操作元素带一个属于该快照的 ref,界面变了会返回 STALE_REF,提示重新快照。
后台操作:通过无障碍接口执行动作,不移动指针也不抢焦点,你可以继续干自己的活。
密集应用的分层读取:先用骨架模式看整体,再针对某个区域深入,大型应用也不会一次读爆。
跨平台:macOS 需要授予辅助功能权限,Windows 同级别应用无需授权,Linux 需要 at-spi2-core。
自带说明:agent-desktop skills get desktop 会输出和当前版本匹配的使用指南,方便代理自己读。
C 库:除了命令行,也提供 C 库供其他程序集成。

