4B token 蒸馏，冻结 LLM 也能跑 256K 检索：ZHA 的稀疏注意力值得看吗

Zyphra AI 介绍了 Zyphra Hierarchical Attention，简称 ZHA。按 MarkTechPost 作者 Asif Razzaq 的报道，这是一种 tree-indexed sparse attention 方法，能用 4B tokens 的蒸馏把冻结 LLM 改造过来，并在推理和 256K 检索基准上匹配 dense attention。原文链接在文末，信息量不大，但方向值得拆一下。

先看痛点。长上下文模型最贵的地方之一，是注意力随序列长度增长带来的计算和显存压力。稀疏注意力一直被视为解法，可常见问题是训练和部署路径容易错位，模型还得重新适配。ZHA 的卖点更具体：原模型权重冻结，用蒸馏让模型学会在树索引的稀疏注意力结构里工作。按原文说法，4B tokens 的蒸馏就能补上这一步。

树索引稀疏注意力的直觉不复杂。把 token 组织成层次结构，让注意力沿相关路径查找，避免每个 token 和所有 token 两两计算。理论上，这更接近 subquadratic 的目标。原文标题也把它称为通往真正 subquadratic attention 的路径。但标题是标题，工程落地还得看实现。

结果层面，报道给出的关键句是：在 reasoning 和 256K retrieval benchmarks 上匹配 dense attention。换成人话，长上下文检索没有明显掉点，推理评测也没被稀疏结构拖垮。如果这个结论在更多任务和不同模型上成立，它对存量模型延长上下文很有吸引力。很多团队手里有已经调好的模型，重训成本高，冻结权重加蒸馏的路线会轻一些。

但别急着开香槟。4B token 蒸馏本身有成本，蒸馏数据怎么选、教师信号怎么给、树结构怎么建，都会决定效果。原文没有展开吞吐、显存、延迟、不同长度下的曲线，也没有说明基准细节和复现条件。对开发背景的读者，接下来该追问的是：256K 检索的召回和延迟分别怎样，长上下文之外的一般任务是否稳定，稀疏注意力在真实推理栈里能不能跑出收益。对普通用户，可以把它理解成一种让长文档问答、代码库检索更便宜的技术路线，离日常产品体验还有距离。

我的判断偏谨慎。ZHA 的价值不在又一个稀疏注意力名词，而在它试图把改造冻结模型这件事做成可复制的蒸馏流程。真正难的部分通常不在论文里的结构图，而在数据配方和工程细节。原文给的信息还不足以证明它已经跨过这道门槛，但至少指出了一个值得跟的方向。

来源：Zyphra AI Introduces Zyphra Hierarchical Attention (ZHA): A Path to True Subquadratic Attention，作者 Asif Razzaq，MarkTechPost。