自己出题自己考,这家公司的OCR模型拿了第一
Datalab把OmniParseBench搬上了Papers with Code,顺便发了17个开源OCR模型的成绩单。前三名里两个来自他们自己。Vik Paruchuri先开口了:这事确实有点可疑。
OmniParseBench成了Papers with Code上的原生基准。Niels Rogge 发了条推文宣布这事,同时放出了完整排行榜。
这个基准由Datalab开发,16,288个是/否测试,覆盖2,937页文档、2,343份文件、92种语言。跟之前常用的olmOCR-bench不同,它把表格、数学公式、手写体、旋转页面、表单、小字、退化扫描都拆开计分,每道测试都能定位到页面上具体哪个位置出了错。
Datalab的创始人Vik Paruchuri同一时间发了另一条推文:他们用同样的测试跑了17个开源OCR模型,每个模型按厂商自己的推荐配置部署。
排名结果:
| 模型 | 参数量 | 总分 | 文本 | 表格 | 布局 |
|---|---|---|---|---|---|
| chandra-ocr-2 | 4.5B | 90.1 | 87.4 | 87.4 | 95.4 |
| dots.mocr | 3.0B | 87.9 | 82.5 | 88.6 | 92.5 |
| MinerU2.5-Pro | 1.2B | 87.1 | 77.4 | 92.1 | 91.7 |
| Infinity-Parser2-Pro | 35.1B (MoE) | 87.0 | 83.3 | 84.1 | 93.5 |
| Surya OCR 2 | 0.67B | 83.1 | 80.6 | 74.3 | 94.3 |
| LightOnOCR-3-4B | 4.5B | 82.9 | 83.9 | 70.8 | 94.0 |
| GLM-OCR | 1.3B | 81.5 | 71.0 | 84.2 | 89.3 |
| Nemotron 3.5 Parse | 0.63B | 80.0 | 72.4 | 77.3 | 90.2 |
| DeepSeek-OCR-2 | 3.4B | 75.2 | 64.2 | 70.0 | 91.4 |
| Indra OCR | 12.3M | 71.4 | 62.7 | 59.6 | 92.0 |
| HunyuanOCR | 1.0B | 64.6 | 50.5 | 61.9 | 81.4 |
chandra-ocr-2拿了90.1,比Mistral OCR的89.5、Claude Sonnet 5.5的88.7、GPT-5.6 Sol的87.8都高。距离Datalab自己API的最高分93.5只差3.4分。
问题来了。chandra-ocr-2是Datalab自己的模型。Surya OCR 2也是。榜单前三里两个来自评测方。
Vik自己在回复里先说了:"当一个人自己的模型排在榜首时,这事总是有点可疑。"然后他放出了所有adapter和数据集,每个模型的部署参数、prompt、输出解析方式都列在博客里,分数可以在GitHub和HuggingFace上逐条审计。
另一个值得看的数据是表格。很多人以为OCR模型在表格上的失败是认错了字,实际不是。大部分失败是结构问题。合并单元格、多级表头处理不好,值就跑到错误的列下面去了。LightOnOCR-3的4B模型文本得分83.9,比dots.mocr的82.5还高,但表格得分只有70.8,差了快18分。MinerU2.5-Pro在表格上拿了92.1,是开源模型里最强的,但它的文本得分只有77.4,偏科明显。
为什么不用olmOCR-bench?Datalab在博客里给了理由:那个基准里大约3-4%的测试标准答案有误或者规则太主观,真实天花板在96-97%左右,顶尖模型已经贴着天花板了。剩下的提升空间来自针对benchmark专门写的后处理代码。LightOn的表格显示,Infinity-Parser2-Pro原始得分85.9,加了后处理87.6;LightOnOCR-3-4B原始85.0,归一化后86.3。那些后处理器各约700行代码。一个点的差距比榜单上大部分模型的间距都大。
手写体和非英语页面是开源模型最明显的短板。chandra-ocr-2在手写体上拿了66.8,已经是开源里最高的,Gemini 3.8 Flash拿了79.4。Nineteen个模型里有一半在手写体上不到55分。
选型建议其实很清楚:要综合最强,chandra-ocr-2、dots.mocr、MinerU2.5-Pro、Infinity-Parser2-Pro四个在3.1分之内。要表格,MinerU2.5-Pro和dots.mocr。要文本和手写,chandra-ocr-2领先。只有CPU,Indra OCR,12.3M参数,4核上中位页面357毫秒。
Vik在另一条回复里说,这些分数和他们的"vibe test"基本吻合,dots.mocr和MinerU确实很强。有人问Docling是不是被比下去了,他没回。有人问OXR怎么样,他说还没试过,会看看。
一个benchmark的可信度不取决于第一名是谁,取决于最后一名能不能被复现。Datalab把所有adapter开源了,每个模型的配置写在博客里,数据集放在HuggingFace上。你可以不服,但你可以自己跑一遍。
参考来源:
- Niels Rogge推文:https://x.com/NielsRogge/status/2114632691048214765
- Vik Paruchuri推文:https://x.com/VikParuchuri/status/2114054449043751293
- Datalab博客:https://www.datalab.to/blog/open-ocr-models-omniparsebench
- GitHub仓库:https://github.com/datalab-to/omni_parse_bench
- HuggingFace数据集:https://huggingface.co/datasets/datalab-to/omni_parse_bench
发布时间: 2026-10-26 16:42