EmbeddingGemma 2 把文本图像音频视频塞进一个向量空间,评论区先查量化账本
Google DeepMind 发布 EmbeddingGemma 2 论文,统一嵌入听着很美。评论区盯住量化后的跨语言检索掉点、音频维度底线,以及真实查询能不能撑住。
Omar Sanseviero 在 X 上放出 EmbeddingGemma 2 的论文链接。标题是 EmbeddingGemma 2: Unified and Efficient Multimodal Representations,作者 Henrique Schechter Vera 等人。论文页如图。
论文摘要说,这是一个开放的跨媒体嵌入模型,把文本、图像、音频、视频以及它们的组合放进统一的表示空间。做法包括简化每层嵌入和多阶段课程设计。论文声称在所有模式上优于专业模型和更大规模模型两到十二倍。资源受限环境也有开关:选择性加载模式编码器、调整视觉 token 预算、截断嵌入维度、量化权重。论文链接:https://arxiv.org/abs/2610.37364
统一嵌入空间的价值不绕。文本、图像、音频共享一个空间,跨模态检索就不必维护几套互不相通的索引。Lazy阿洋 在回复里点出这层好处,也留了条件:Pareto 优势要在有噪声的真实查询上成立,干净 benchmark 不算完。Donut 的说法更直接,EmbeddingGemma 2 带论文发布是对的,嵌入需要 recipe,不只是一个 checkpoint,他还追问多语言检索对比第一代如何。
评论区最有用的是数字。Michał Piszczek 看表1,Q4_0 int4 让 MTEB multilingual 从 61.36 到 60.96,掉得不多;MSEB cross-lingual retrieval 从 67.68 到 61.80,掉得明显。论文给那一列标了不同 eval harnesses,这个脚注不能略过。Kuldeep Pisda 盯音频:128 维在音频上吃亏,native MSEB retrieval 从 256 维的 66.76 掉到大约 56,所以音频索引的底线看起来是 256 维。
Hyper.AI 的回复是一段视频,白衬衫黑领带男子在厨房双手举起,表情激动。评论区有人用动作表达兴奋,另一边有人已经在算维度和掉点。
Bhavesh 觉得所有模态进一个统一空间是 game changer。Twonly Yu 问这个模型在欧洲能不能用,帖子里没有答案。
统一空间听起来像把厨房用具收进一个抽屉。找刀快不快,要看抽屉有没有被量化压扁,也要看音频这种占地方的物件会不会把抽屉撑坏。EmbeddingGemma 2 的论文把选择摆在桌面:要省资源,可以截维度、量化、按需加载编码器;要检索质量,先看表1里哪个模态掉了多少。对做检索的人,先查自己的索引维度和查询噪声,再决定要不要把四类模态塞进同一个空间。
发布时间: 2026-11-03 21:29