AMD MI355X 上的 FP8 注意力，Zyphra 说比 AITER 快 1.76 倍

Zyphra 发布了 ZYFA，一组面向 AMD Instinct MI355X 的开源 FP8 和 BF16 prefill attention kernel。据 MarkTechPost 的 Michal Sutter 报道，在真实模型激活上，它的 FP8 kernel 比 AMD 的 AITER 快 1.16 到 1.76 倍；在 head dimension 128 时，误差低 62% 到 78%。

这件事为什么值得看

大模型推理通常分 prefill 和 decode 两个阶段。prefill 处理用户输入的提示，attention 又是 Transformer 里绕不开的核心计算。把这个阶段的 attention kernel 做快，直接影响首 token 延迟和整体吞吐。

AMD 的软件栈一直在补课。AITER 是 AMD 侧的算子库，ZYFA 选择在 MI355X 上跟它对比，还给出误差数据，说明团队想证明 FP8 不只能跑，还能在精度上站住。FP8 用 8 位浮点，省显存带宽和算力，难点在误差控制。head dimension 128 是常见配置，这个位置的数据有参考价值。

数字要怎么看

1.16 到 1.76 倍是特定条件下的结果：真实模型激活、FP8 kernel、与 AITER 对比。原文没有展开所有模型规模、序列长度和端到端场景，所以它更像一个 kernel 级信号，不能直接等同于整机推理快这么多。

开源的意义在于可复现。代码放出来，开发者可以自己跑 benchmark，检查误差和速度，也可以看它怎么处理 MI355X 的硬件特性。对关注 AMD 生态的人来说，这比单纯发一篇技术博客更有意思。

原文链接：Zyphra ZYFA: FP8 FlashAttention for AMD MI355X, Up to 1.76x Faster，作者 Michal Sutter。