Vercel Labs 开源 agent-desktop：AI 操作电脑可以绕开像素了
一个 Apache-2.0 的 Rust CLI，跨 macOS、Windows、Linux，通过系统无障碍树和稳定 refs 让 agent 操作界面。它要解决的是截图找坐标在真实桌面里容易漂的问题。
Vercel Labs 开源了 agent-desktop。按 MarkTechPost 的报道，这是一个 Apache-2.0 许可的 Rust CLI，目标很直接：让任何 AI agent 在 macOS、Windows 和 Linux 上获得电脑操作能力。
它的技术路线值得看一眼。多数 computer use 方案靠截图，让模型在像素里找按钮、猜坐标、再点击。demo 里能跑，到了真实桌面就容易出问题：窗口一挪、分辨率一变、弹窗一挡，坐标就漂了。agent-desktop 换了个入口，读取操作系统的无障碍树，拿到界面元素的结构化信息，再通过稳定 refs 对元素执行动作。refs 的作用类似给界面元素一个可引用的标识，agent 后续操作可以指向同一个元素，少一点反复猜位置的成本。
无障碍树本来主要服务读屏软件等辅助技术，RPA 和 UI 自动化测试也长期用过类似思路。它不新，但把它包成跨平台 CLI，交给 AI agent 调用，这个组合有实际价值。对 agent 开发者来说，本地桌面是一块难啃的地方：网页有 DOM，桌面应用没有统一 DOM。agent-desktop 想做的，是给三套桌面系统补一个可调用的操作层。
项目描述里提到，它支持 macOS、Windows、Linux，采用 Apache-2.0 许可，形态是 Rust CLI。CLI 的好处是边界清楚，agent 通过命令读取界面结构、执行动作，不用把整套逻辑塞进模型上下文。具体安装方式、命令参数和权限配置，需要看项目仓库说明。macOS 上通常涉及辅助功能权限，Windows 和 Linux 也要处理对应的可访问性接口，这些在真实部署里都绕不开。
我的判断是，这条路线没那么花哨，但更接近“能干活”。像素方案适合展示模型的视觉理解，无障碍树方案适合把操作做得稳定、可复现。它也有边界：应用如果没有暴露足够的无障碍信息，或者界面本身是自绘的，效果就会打折。可这不妨碍它成为一个有用的底座。开源和 Apache-2.0 降低了集成门槛，跨平台 CLI 也方便 agent 项目先跑通再替换。
来源：MarkTechPost，作者 Michal Sutter，原文链接：https://www.marktechpost.com/2026/10/31/vercel-labs-agent-desktop-computer-use/
发布时间: 2026-10-31 18:10