AI 操作电脑，为什么还只有一只鼠标？
X 上一条转发只给了半句话：Computer use 需要进化到鼠标集群。配的视频让这句话有了画面：多个 AI 同时操作一台桌面，光标就是最窄的瓶颈。
X 上 George Pickett 转发 blackanger 的一句话：Computer use 需要进化到鼠标集群。配了一段竖屏演示视频。原贴没有展开技术细节，但这个说法把桌面 AI 的一个瓶颈说得很直白。
Computer use 通常指让模型看屏幕、点按钮、填表单、切窗口。现在多数演示里，只有一个光标，动作一条一条排队。模型再聪明，也要等上一步点完，才能点下一步。多开几个 agent，问题更明显：系统只有一个前台焦点，键盘和鼠标事件都往同一个地方送。几个 agent 抢一个光标，轻则互相打断，重则把流程点乱。
“鼠标集群”的字面意思，是一台桌面里同时跑多只光标，各自对应一个 agent 或任务。要做出这个效果，难点在系统层：虚拟输入怎么隔离，窗口和浏览器标签怎么分给不同 agent，剪贴板归谁，弹窗和权限请求谁处理，两个 agent 同时点同一个按钮怎么仲裁。还要能回放和审计，不然出错都找不到是哪只鼠标干的。
对普通用户，可以把它想成办公室里只有一只鼠标，几个人轮流用。人多了，鼠标就成了瓶颈。对开发者，这个方向把多智能体从聊天窗口拉到桌面，调度、冲突、可观测性都会变成硬问题。
原贴只有一句话和一段演示视频，没给实现细节。不能从视频里推断完整架构。但 Computer use 要往多任务走，光标和输入事件的管理迟早要补课。鼠标集群是个比喻，也是接下来要补的工程课。
发布时间: 2026-11-07 02:26