把视觉记忆做成查表，V-LUMEN 给 VLM 多开一轴容量

V-LUMEN 把视觉语言模型的容量问题拆成查表问题。

语言模型里已经有一种扩容量思路：用 lookup-based memory 增加容量，不靠加深模型、加宽模型或堆密集计算。搬到视觉语言模型上会卡住，因为视觉特征连续、有空间结构、依赖查询，不像离散文本 token 那样天然支持 n-gram 查表。

这篇论文的做法是：用冻结码本把视觉特征离散化，通过空间聚合哈希构建带空间信息的记忆键，再用文本条件相关性信号调制。所有寻址都是非参数的，检索到的 embedding 通过门控残差路径融合进主干。

结果方面，论文称在五个推理密集型基准上明显改进冻结的 Qwen3-VL-2B 主干，并零样本迁移到三个图像与训练数据不相交的基准。另有一个细节比涨点更值得看：在匹配参数预算时，把 LoRA 或 MoE 适配器的一部分容量挪到 V-LUMEN，两个主干上的准确率保持。作者据此说外部视觉记忆是独立容量轴，没有把它包装成更强适配方法。

成本结构也值得注意。查表成本对表大小恒定，且只在 prefill 发生一次。容量增长落在存储，不落在每 token 计算。对做推理部署的人，这比再多一个适配器更值得算账：记忆和适配器可以分开配置。

论文已被 NeurIPS 2026 接收，代码在 GitHub，论文在 arXiv。