用3000万张截图做RAG,PixelRAG比文本检索高18%,评论区先吵起来了
PixelRAG把网页、PDF和图片渲染成像素块,用视觉模型检索。团队称在维基百科3000万截图索引上,QA超过最佳文本RAG 18.1%,项目开源。但成本、速度和Cloudflare成了评论区焦点。
PixelRAG 的做法一句话:不把网页解析成文本,直接截图,让视觉语言模型从像素里找答案。项目开源,Apache-2.0,仓库在 StarTrail-org/PixelRAG。
传统 RAG 通常先把文档转成文本、切片、嵌入,再检索。问题在于,网页一旦被压成纯文本,很多信息会掉:PDF 里的表格、多栏布局、按钮、图表、列关系。PixelRAG 换了个入口,索引页面“看起来的样子”。
团队称建了一个覆盖维基百科的视觉索引,超过 3000 万张截图。宣传视频里写的是 30M pages。更关键的数据是,在这个索引上做 QA,团队称它比最好的文本 RAG 高 18.1%。
它的流程不复杂:构建 FAISS 索引,在像素上做视觉搜索,用 Qwen3-VL-Embedding 嵌入,把网页、PDF、图片渲染成 tiles。它还有 Claude Code 插件。传一个 URL、一篇 arXiv 论文或本地网页,Claude 不抓 DOM,直接看渲染后的页面。
评论区没有停在“酷”。有网友先算账:索引截图再跑视觉模型,成本 and 速度都比纯文本重。简单网页用传统抓取更便宜,PDF 表格这类场景才有意义。也有人问 Cloudflare 怎么绕,有人反问图片怎么读网页代码,还有网友认为 HTML 里才是内容,视觉方案是过度工程。另一类声音是,Playwright、Chrome 工具和 MCP 已经能做类似的事。
这些质疑不空。PixelRAG 的 18.1% 是在特定基准上的结果,不能直接推成所有任务都赢。它的价值落在那些文本管线丢上下文严重的场景:表格 PDF、复杂布局、视觉元素、需要按“人看到什么”来问答的页面。只抓简单文章时,文本抓取仍然划算。开源的好处是,成本和效果可以自己复现,不用只听宣传。
发布时间: 2026-10-27 21:48