点了一年网页,最后让模型写代码:Browser Use 卡在 60% 后的转向
Tabbit 团队一年半的 Browser Use 复盘:截图点按成功率卡在 60%,模型会写代码后路线翻转。Codex 半小时干完手工一小时的配置,200 多条两分钟灌完;Benchmark 正确率只多一次,省下的是 token 和等待。
Tabbit 团队一年半的 Browser Use 复盘里,有一个很清楚的分水岭:让模型看截图点页面,成功率长期停在 60% 左右;模型能稳定写代码后,路线一夜翻转。
先说明立场。原文来自 yibie 的推文,正文是 Tabbit 团队复盘,结尾在推广自家浏览器。结论可以参考,立场要带着看。原文链接:https://liaocaoxuezhe.com/article/the-bitter-lesson-of-browser-use ,推文链接:https://x.com/yibie/status/2121803108808638601 。有网友总结得更短:看图点位置练了一年,最后还是把操作写成了代码。

阶段一的做法很直观,让 Agent 像人一样看网页。Browser Use 0.1 在 2024 年 11 月开源,给模型十个工具,搜索、打开网址、点击元素、输入文字、提取正文、切换标签页,一轮动作后重新截图,再看页面。团队把 DOM 压成上百种标签,裁掉不可见元素,一年测了几百种模型加 harness 组合,仍然卡在慢和点不准。

细节很硬。Claude 3.5 Sonnet、Opus 在真实截图上也漂几十像素;Seed 1.8 点击强,但下拉框常错,智力弱;Seed 2.0 的 GUI 反而退步;Gemini 3.5/3.6 Flash 内部测评不如 Claude 3.7 Sonnet。遇到 Google Sheets、飞书多维表格这类画布页面,DOM 信息帮不上忙,还会干扰模型选择。

Seed 1.8 曾让人看到 GUI 点击的曙光。字节在训练里加入大量真实移动端与 GUI 操作轨迹,点击任务准确率很高,手机上没有的组件又显得笨拙。这个细节很能说明问题,单点能力提升,不等于完整网页任务能跑通。

阶段二的转折来自一次后台配置。原文作者手工估计要一个多小时,Codex Chrome 扩展不到半小时做完,十分钟检查无一遗漏。跑通第一条后,200 多条配置用一个 for 循环约两分钟灌完。Codex 主要默默写代码,首选 Playwright,视觉坐标和 CDP 只做兜底。


拆开 Codex 后,能看到四类接口:Playwright 首选,DOM-CUA 读取可交互元素,视觉 CUA 用坐标兜底,原始 CDP 处理最后的需求。浏览器操作被抽象成编程问题,模型最擅长的写代码成了主路径。

阶段三,Tabbit CLI 在 2026 年 8 月推出。Agent 经 CLI 控制真实浏览器,保留页面、变量和进度,复用登录态,在后台干活,不抢窗口。它首选 Playwright,底层需求再下沉 CDP。Browser Use 一派相反,让模型直写原生 CDP。两边都认可 Coding Agent Harness 最成熟,分歧只在抽象层多高。

Benchmark 的数据要看清。BU Bench V1 用 25 题乘 3 次共 75 次,同一模型,reviewer 模型判定。Tabbit 正确率最高,但只比 Codex Chrome 多一次成功,原文写不能据此宣布全面能力差距。差距主要在成本:每个正确答案的输入 token 比 Codex Chrome 少约 49%,比 Agent Browser 少约 61%,P90 耗时 220.6 秒对 489.0 秒。这是成本指标,不宜读成准确率差距。

Browser Use 也转向了。2026 年 4 月发文承认不要把浏览器操作封装太死,给 Coding Agent 底层 CDP 访问能力,允许它修改自己的工具代码。9 月又确认 Coding Agent Harness 才是最成熟的 Browser Use 方案。路线殊途同归,只是 Tabbit 更务实,优先用 Playwright 的成熟抽象,特殊需求再下沉。
阶段四,Jev 的反证值得看。165 张截图上,Jev 判状态准确率 95.2%,与 Kimi K3 持平,延迟 0.76 秒对 8.54 秒;36 道定位题 Jev 对 35 道、K3 全对。但放进 10 个任务,118 步里只有 2 步由 Jev 决定,K3 调用没减少;先规划再让 Jev 点击没触发,Jev 实际 0 次点击。作者明说样本小,不能据此断言 Jev 无效。单步更快,不等于长程更快。

原文用萨顿 2019 年的 The Bitter Lesson 收束。研究者常把人类知识编码进系统,短期有效,长期遇到瓶颈,突破往往来自扩大计算和搜索学习。Browser Use 的经历是注脚:脚手架给得越细,可能越限制模型。模型最擅长写代码,当浏览器操作被抽象成代码问题,临界点出现。给代码执行能力,它能组织循环和条件;给持续状态,它能保存中间结果;给底层接口,它能处理框架没预见的 edge case。

还有一个支线是 WebMCP。网站通过 navigator.modelContext 主动声明给 Agent 使用的结构化工具,比如查询订单、添加商品。Agent 不必完全靠 DOM 推断网站能力。它不会马上替代通用 Browser Use,大量网站不会立刻改造,权限、安全、结果验证也还要完整机制。但它可能成为下一条重要支线:通用代码接口覆盖存量互联网,WebMCP 让愿意参与的网站提供更稳定的业务动作。
这堂课对做工具的人不轻松。过去引以为傲的设计,也可能成为下一步的阻碍。Tabbit 的结论有推广立场,但这条从 GUI 到 Coding 的转向,值得做 Agent 的人对照自己的方案。
发布时间: 2026-11-15 14:29