Wink Pings

自己出题自己考,这家公司的OCR模型拿了第一

Datalab把OmniParseBench搬上了Papers with Code,顺便发了17个开源OCR模型的成绩单。前三名里两个来自他们自己。Vik Paruchuri先开口了:这事确实有点可疑。

OmniParseBench成了Papers with Code上的原生基准。Niels Rogge 发了条推文宣布这事,同时放出了完整排行榜。

OmniParseBench在Papers with Code上的排行榜截图,展示了各模型在布局、表格等维度的得分

这个基准由Datalab开发,16,288个是/否测试,覆盖2,937页文档、2,343份文件、92种语言。跟之前常用的olmOCR-bench不同,它把表格、数学公式、手写体、旋转页面、表单、小字、退化扫描都拆开计分,每道测试都能定位到页面上具体哪个位置出了错。

Datalab的创始人Vik Paruchuri同一时间发了另一条推文:他们用同样的测试跑了17个开源OCR模型,每个模型按厂商自己的推荐配置部署。

开源OCR模型在OmniParseBench上的得分与参数量对比图

排名结果:

模型参数量总分文本表格布局
chandra-ocr-24.5B90.187.487.495.4
dots.mocr3.0B87.982.588.692.5
MinerU2.5-Pro1.2B87.177.492.191.7
Infinity-Parser2-Pro35.1B (MoE)87.083.384.193.5
Surya OCR 20.67B83.180.674.394.3
LightOnOCR-3-4B4.5B82.983.970.894.0
GLM-OCR1.3B81.571.084.289.3
Nemotron 3.5 Parse0.63B80.072.477.390.2
DeepSeek-OCR-23.4B75.264.270.091.4
Indra OCR12.3M71.462.759.692.0
HunyuanOCR1.0B64.650.561.981.4

chandra-ocr-2拿了90.1,比Mistral OCR的89.5、Claude Sonnet 5.5的88.7、GPT-5.6 Sol的87.8都高。距离Datalab自己API的最高分93.5只差3.4分。

问题来了。chandra-ocr-2是Datalab自己的模型。Surya OCR 2也是。榜单前三里两个来自评测方。

Vik自己在回复里先说了:"当一个人自己的模型排在榜首时,这事总是有点可疑。"然后他放出了所有adapter和数据集,每个模型的部署参数、prompt、输出解析方式都列在博客里,分数可以在GitHub和HuggingFace上逐条审计。

另一个值得看的数据是表格。很多人以为OCR模型在表格上的失败是认错了字,实际不是。大部分失败是结构问题。合并单元格、多级表头处理不好,值就跑到错误的列下面去了。LightOnOCR-3的4B模型文本得分83.9,比dots.mocr的82.5还高,但表格得分只有70.8,差了快18分。MinerU2.5-Pro在表格上拿了92.1,是开源模型里最强的,但它的文本得分只有77.4,偏科明显。

各开源OCR模型在文本、表格、布局三个维度的分项得分

为什么不用olmOCR-bench?Datalab在博客里给了理由:那个基准里大约3-4%的测试标准答案有误或者规则太主观,真实天花板在96-97%左右,顶尖模型已经贴着天花板了。剩下的提升空间来自针对benchmark专门写的后处理代码。LightOn的表格显示,Infinity-Parser2-Pro原始得分85.9,加了后处理87.6;LightOnOCR-3-4B原始85.0,归一化后86.3。那些后处理器各约700行代码。一个点的差距比榜单上大部分模型的间距都大。

手写体和非英语页面是开源模型最明显的短板。chandra-ocr-2在手写体上拿了66.8,已经是开源里最高的,Gemini 3.8 Flash拿了79.4。Nineteen个模型里有一半在手写体上不到55分。

选型建议其实很清楚:要综合最强,chandra-ocr-2、dots.mocr、MinerU2.5-Pro、Infinity-Parser2-Pro四个在3.1分之内。要表格,MinerU2.5-Pro和dots.mocr。要文本和手写,chandra-ocr-2领先。只有CPU,Indra OCR,12.3M参数,4核上中位页面357毫秒。

Vik在另一条回复里说,这些分数和他们的"vibe test"基本吻合,dots.mocr和MinerU确实很强。有人问Docling是不是被比下去了,他没回。有人问OXR怎么样,他说还没试过,会看看。

一个benchmark的可信度不取决于第一名是谁,取决于最后一名能不能被复现。Datalab把所有adapter开源了,每个模型的配置写在博客里,数据集放在HuggingFace上。你可以不服,但你可以自己跑一遍。

参考来源:

发布时间: 2026-10-26 16:42