第一个开放式CUA数据集?Fig发布当天被翻出7个月前的600小时
Fig发布RealCUA v0.1,600+小时真实桌面操作、35+应用、最长12小时连续轨迹。发布当天,p(doom)作者指其“首个”说法不实,7个月前已公开600小时AGI-CAST。两个600小时到底差在哪。
Fig在11月5日发布了RealCUA v0.1,宣传里有个很硬的词:第一个。按Fig的说法,这是首个记录开放式工作、环境持续演化的computer-use数据集。发布当天,p(doom)作者Franz Srambical在回复里直接说,这个说法不成立。
先把两边的事实摆出来。
RealCUA放了什么
RealCUA v0.1有606.5小时素材,512段录制,354,769步,其中274,984个动作、79,785个空闲状态。应用切换27,700次,覆盖35个以上应用,压缩后154GB。最长连续轨迹741分钟,约12.4小时;中位录制27分钟,均值71分钟;87%的小时来自1小时以上的录制。多显示器录制占14.5%。
这些数字不是脚本任务跑出来的。Fig说,录制者是美国的资深从业者,来自工程、运营、产品、研究岗位,在自己的个人机器上做真实工作,没有分配任务,没有脚本指令,录制、使用和分发都经过同意。
数据里包含什么:H.264视频,30fps,多显示器;带亚毫秒时间戳的原始输入事件;从输入事件归并出的步骤级动作JSON;当前应用和窗口元数据;accessibility tree快照;裁剪后的HTML和DOM快照;工作流分段和原子任务。

Fig主推视频:
它想解决的痛点
computer-use agent要学的是在桌面上完成任务:开应用、切窗口、读页面、改文档、回消息、查资料。过去很多数据集靠脚本任务、合成数据、应用克隆,或者把任务边界切得很干净。RealCUA反过来,从真实工作开始录,保留重叠目标、通知、加载状态、中断和恢复。Fig统计,平均每小时有45.7次应用切换。
应用覆盖也很具体。Notion占25.28%的专注小时,Brave 15.04%,Cursor 11.51%,Claude 8.86%,Chrome 7.17%,Slack 6.74%,Dia 5.24%。后面还有WindowManager、ChatGPT、Firefox、Terminal、Ghostty、Granola、Figma、Zoom、Discord、Finder、Spotify等。
对训练CUA的人来说,这类数据的价值在上下文:一个点击发生在哪个窗口、哪个DOM元素、哪个accessibility节点上,前后状态是什么。对做评测的人来说,价值在长轨迹和多目标交织。Fig提供11小时连续轨迹样本,完整数据要申请,学术和开源研究组可以联系。地址是 https://data.fig.inc/realcua 。
争议点:两个600小时不是一回事
Franz Srambical的回复说,Fig的claim不 true。7个月前,他们公开了600多小时数据,内部有15,000小时,来自顶级PhD学生3到12个月的工作,跨平台捕获工具开源。那个数据集叫AGI-CAST-0.6k,发布时强调长周期AGI研究、screencast-only、CC0许可。配套的crowd-cast是隐私保护桌面应用,用来众包带动作标注的行为克隆数据。
p(doom)当时的发布视频:
两个数据集都叫600小时,含义不同。AGI-CAST侧重长周期研究工作的屏幕录制,公开更早,许可更开放。RealCUA强调环境持续演化、多个独立目标交织、完整工作区状态、步骤级动作和窗口上下文。Fig的“first”前面有一串限定条件,条件越多,边界越窄。按“公开600小时真实电脑工作”这条线看,RealCUA不是第一个。按“开放式多目标、环境不重置、带步骤级动作和DOM/accessibility上下文”这条线看,Fig认为自己填的是另一个空位。
“首个”这种词很容易被旧账追上。数据本身不会。做CUA训练的人可以看11小时样本和申请通道;做评测的人要注意访问限制和许可差异;想复现的人可以先比对输入事件、状态快照和任务分段这三层。有网友在回复里问,密码、消息这类隐私内容怎么处理,11小时样本能不能直接用于训练。素材里没有看到公开答复。
Fig在素材里没有回应Franz的质疑。RealCUA的数据卡、样本和申请入口已经放出,AGI-CAST和crowd-cast的代码、数据、许可也都在公开链接里。判断谁更接近“第一个”,得先定义清楚第一个什么。
发布时间: 2026-11-06 14:30