10M token 的注意力层，98% 的时间花在找 token 上

11 月 2 日，James Whittington 在 X 上公布了团队第一批开放研究成果之一，Latent Sparse Attention（LSA）。按他的说法，这是朝 subquadratic attention 走的一步，目标是在超长上下文下匹配 full attention 的准确率。

稀疏注意力的设定不复杂：每个 query 只看少量 token，计算量就降下来了。麻烦在于“只看少量”之后，得先知道该看哪几个。上下文越长，这个查找越贵。Whittington 给出的数字是，在 10M token 的规模下，搜索正确 token 占了注意力层 98% 的时间。矩阵乘早就不是瓶颈，索引是。

LSA 改的是查找方式。从公布的视频看，普通稀疏注意力逐个评估每个键值对；LSA 先把键分成集群，给集群打分，再在选中的集群里给键打分。查找从一层变成两层，需要评分的对象少了一大截。

效果数据：LSA 让稀疏注意力最多快 22.7 倍，让 full attention 最多快 72.4 倍。视频底部还给了索引内存的对比，稀疏注意力 0.32 GiB，LSA 0.24 GiB。测试基于 GLM-5.3-Flash 的一个注意力层，预填充 10M token，图注里标注只用了 H2O0。

这个结果有几个边界要看清。它是单个注意力层上的测量，不是端到端训练或推理的完整数字。22.7 倍和 72.4 倍都标着“up to”，具体随上下文长度和配置变化。准确率能否稳定匹配 full attention，也需要更多任务来验证。目前公开的是研究发布，尚未到产品承诺那一步。

不过它指出的方向值得留意。过去两年，长上下文的讨论常围绕 KV cache 压缩、注意力核函数、FlashAttention 这类工程优化展开，多数工作盯着 FLOPs 和显存带宽。LSA 把镜头挪到索引搜索上：当上下文到千万级，每层注意力里的主要成本变成了“去哪找”，计算本身反而退居其次。这个观察比某个加速比更有信息量。

参与这项工作的还有 @kubicek_ales、@caciolai、@PengLiangzu、@SukritSumant、@Ben_Hoov、@FraserGreenlee、@RMBattleday、@radim_urban、@thoefler，以及 Whittington 本人。代码和论文是否同步开放，推文里没展开，得等后续。

长上下文这条路上，算力账大家都会算，索引账还没多少人认真算。LSA 至少把后者的数字摆了出来。