594B 参数的“小模型”，把线性注意力混合层拿掉了

Sebastian Raschka 在 X 上发了 Inkling 2 Small 的观察。他提到，这个模型比他一开始想的更有意思。原因不在分数，在架构：它用了 attention residuals，类似 Kimi K3 的做法，但没有带 linear-attention hybrid。

这套术语需要补两句。attention residuals 可以理解成在层与层之间保留一条信息通路，让深层网络更稳地传递和混合表示。linear-attention hybrid 是把线性注意力层混进主干，用来压长上下文的计算成本。Kimi K3 把两者放在一起，Inkling 2 Small 只留了前者。有网友说，这个组合像一次天然消融实验：如果规模可比，就能把 Kimi K3 的收益拆开看，到底来自 residual 技巧，还是来自线性注意力混合层。

回复里有人拆了配置：594B 参数 MoE，384 个专家，每 token 路由 8 个专家，0 个共享专家；8 个 block，每个 block 6 层，用一个学出来的 query 做混合；词表 200k。Adam Wang 的吐槽很直接，把 594B 参数的 MoE 叫 small 是 2026 年的语言习惯，它在 Artificial Analysis 指数上只有 31，所以该看的是架构，不是名次。Giacomo Masseroni 盯的是 8 routed、0 shared 的选择，他好奇 384 个专家没有共享专家时还能不能保持负载平衡。

问题也跟着来。iClaude 问，attention residuals 比 linear-attention hybrid 多买到什么，长上下文里谁更稳。KURAOpenclaw 问，去掉混合层后的复杂度开销怎么处理。Stefan Palm 注意到 200k 词表，想知道更大的词表能不能带来直接收益。这些都没有定论，但比只报一个榜单分数有用。

DearHua 的观察带点历史感：几年前是中国实验室拆西方架构的作业，现在西方模型的发布说明里写“和 Kimi 一样”。这句话可以放进年底架构趋势分析。Inkling 2 Small 提供了一个干净对照：同样的 residual 思路，去掉线性注意力混合层，长上下文和专家平衡会付出什么代价，得等更多实测。原帖：https://x.com/rasbt/status/2121613812990095543