AI 能自己点鼠标了，5 个 GitHub 仓库把麻烦也一起摆上桌

让 AI 看屏幕、点鼠标、填表单，这层基建已经有人把代码摊开了。原帖来自 @RoundtableSpace，标注日期 2026 年 10 月 26 日，列了五个 GitHub 仓库：OmniParser、Agent-S、UI-TARS Desktop、OpenAdapt、screen-use。原帖链接：https://x.com/RoundtableSpace/status/2114813310491062509

前三个仓库路线清楚。后两个素材只给了入口，下面只保留链接，不替它们补功能。

OmniParser：把截图拆成可点元素

微软的 OmniParser 干的是底层活：把界面截图解析成结构化元素，让视觉模型知道哪里能点。README 写 V2 在 ScreenSpot Pro 上拿到 39.5%，有 YOLOv9-E 交互区域检测，还用 OmniTool 控制 Windows 11 VM。模型侧支持 OpenAI、DeepSeek、Qwen、Anthropic Computer Use。对开发者有用的一点是权重许可分得细：icon_detect_v3 基于 MIT 的 YOLOv9，早期 Ultralytics 检测器仍是 AGPL，caption 模型走 MIT。仓库：https://github.com/microsoft/OmniParser

Agent-S：完整 computer use agent 循环

Simular 的 Agent-S 是开源 computer use agent 框架，不只单点模型。给自然语言任务，它看屏幕、点击、输入、滚动，跑在 macOS、Windows、Linux。README 里 S3 在 OSWorld 拿到 72.60%，写的是首个超过人类表现。S4 换到 OSWorld V2，21.3%，配 Qwen3.8-27B，开源 SOTA，高于素材里列出的 GPT-5.5 13.0% 和 Claude Opus 4.8 20.6%。注意 OSWorld V2 是严格二值通过，没有部分分，21.3% 反映基准难度，不等于低可靠。仓库：https://github.com/simular-ai/Agent-S

UI-TARS Desktop：桌面和浏览器操作器

字节这组项目分两层。Agent TARS 是多模态 Agent stack，带 CLI 和 Web UI，核心里有 MCP，能接真实工具。UI-TARS Desktop 是本地桌面应用，基于 UI-TARS 模型，给本地和远程电脑、浏览器操作器。README 强调截图识别、鼠标键盘控制、跨 Windows/MacOS/浏览器、本地处理。许可 Apache 2.0。仓库：https://github.com/bytedance/UI-TARS-desktop

OpenAdapt 和 screen-use：先存链接

素材只给了仓库地址，没展开 README。不补功能，不猜定位：
OpenAdapt: https://github.com/OpenAdaptAI/OpenAdapt
screen-use: https://github.com/tongriyaotxt/screen-use

麻烦在哪

回复里有人写“computer use is everywhere this week”，也有人写“Agent 真要动手，看屏+点桌面这层基建比再堆一个聊天壳实在”。这两句比演示视频更接近现实。OmniParser 解决看和定位，Agent-S 解决任务循环，UI-TARS 解决桌面产品化。真正分水岭在失败恢复、权限边界、评测。模型点错一个按钮，后面谁收拾，仓库没演示。想试，Windows 上先看 OmniTool，想读 agent loop 看 Agent-S，想装桌面应用看 UI-TARS Desktop。先把电脑交出去这事，别急。