被忽略的Meta论文：JEM用1/12数据超越DINOv3

Tanishq Mathew Abraham在推上翻出一篇Meta FAIR的论文，标题叫《Scalable Patch-Level Self-Supervised Learning》。他说，这篇论文完全没被注意到。

论文提出新框架JEM，属于学生-教师自监督方法：学生网络去预测教师网络给出的表示，核心是对齐同一图像不同视角下的patch（图像小块）表示。作者加了一项显式正则化，确保每个patch的表示有足够信息量，防止结构坍塌。有网友在推文下提问：DINO系列一直靠centering这些技巧防坍塌，JEM靠什么？他回复：论文里有基于熵的正则化项。

结果写在摘要里。论文在3亿到70亿参数范围做了验证。JEM在相同条件下的密集任务上超过DINOv2；70亿参数版本在全景分割上赢了DINOv3 checkpoint，训练数据只有DINOv3的1/12，没有额外的细化阶段。评论区有人专门核对了摘要，确认少12倍数据的是JEM，不是DINOv3。

这个结果反常识。自监督学习不依赖人工标注，这类模型通常被认为靠更大规模和更多数据堆出来。JEM用少得多的数据反超DINOv3，至少说明DINOv3的数据效率还有水分。如果社区复现没问题，这会成为自监督预训练下一个卷的方向。

论文作者包括Maximilian Seitzer、Maxime Oquab、Oriane Siméoni等人，来自Meta FAIR。

一篇标题朴素到没有SOTA字样的论文，容易被信息流冲走。结果摆在那里，比标题本身有传播力。