每个模型一个 Megakernel:Claude 写的推理引擎最高比 vLLM 快 2.05 倍
八个模型,八个由 Claude 写的 megakernel。一个 GPU 程序跑完整个 decode loop,不切回 host。最高 2.05 倍加速之外,真正重要的是验证方法:先证明还是同一个模型,再谈快。文章也讲清楚了局限。
通用推理引擎,第一次遇到一个反常识的替代方案。
Xingyu Dang 发布了一个项目:让 Claude 为八个开源模型各写一个 megakernel。每个内核只服务一个 checkpoint、一种 GPU,跑完整个 decode loop。八个模型从 8B 到 594B,在 H100/B200 上,单序列 steady decode 比同 GPU 上最快的通用引擎快 1.13–1.77 倍;如果允许改变模型存储方式、但不改变它算出来的函数,最高 2.05 倍。
先看一段视频。同一块 GPU 上,megakernel engine 和 SGLang 回答同一个问题,文字按实际到达速度回放。
megakernel 的第一个 token 通常更晚,因为 steady-decode engine 每个 pass 只读 prompt 的一个 token;但它后续的 token 间隔更短。作者没有回避这一点。
通用引擎和专用内核
vLLM 和 SGLang 的设计目标是跑任意模型。每个 decode step 由通用 kernel 库拼成:attention 一个 kernel,矩阵乘一个 kernel,normalization 一个 kernel,从一个 CUDA graph 里依次执行,CPU 每个 token 调度一次。
megakernel 走另一个方向:一个 kernel 执行每个 step 的所有运算,以及对 token 的循环。算子边界变成 GPU 内的 grid barrier,token 之间不切回 host。优点是能自由调度:当前层计算时预取下下一层权重,跨算子边界融合,让空闲的 thread block 提前开始下一阶段。
代价是难维护、难调试,绑定一个模型和一种 GPU。所以 megakernel 之前只有极少数手写版本(Hazy Research 的 Llama-1B,Cohere 的 North Mini Code)。
coding agent 把这个成本抹掉了。为一个 checkpoint 重写一个内核,第一次变得可行。这也是这个项目最反常识的地方:通用引擎的维护成本被调度器摊薄,现在专用内核的编写成本被 agent 摊薄。

怎么测的
作者分两个 track 报告。
track A 保持 checkpoint 自己的权重格式和 data flow,只改变 GPU 上的计算组织方式。track B 更宽松:允许改变模型存储和 load 时预计算的内容,但要求函数在精确算术下不变。有损量化和剪枝不算。
图里是八个模型相对 SGLang 的速度(没有 SGLang 的两行以 vLLM 为基准)。灰色是通用引擎,彩色是这次的结果。

单序列(batch size 1)时,track A 在所有模型上都超过最快通用引擎:1.13–1.77 倍。batch size 8 时收益变小,最低是 North Mini Code 的 1.02 倍和 gpt-oss-120b 的 1.08 倍。几个有代表性的数字:
- Qwen3-8B,H100:SGLang 6.09 ms/token → track A 5.13 ms(1.19×),track B 3.83 ms(1.59×)
- gpt-oss-20b,H100:vLLM 3.31 ms → track A 1.87 ms(1.77×),track B 1.62 ms(2.05×)
- Inkling-2-Small(594B MoE),4×B200:SGLang 4.74 ms → track A 3.30 ms(1.43×)
单序列 decode 基本受 HBM 带宽限制。Qwen3-8B 的 BF16 权重有 15.1 GB,在 H100 峰值带宽 3.35 TB/s 下读一遍要 4.52 ms;track-A engine 实测 5.13 ms,达到理论上限的 88%。这个数字说明加速没有魔法:通用引擎已经逼近物理极限,专用内核又往前推了一段。
agent 找到的优化
track B 里,agent 会发现一些只属于这个 checkpoint 的规律。最典型的是权重格式:BF16 用 8 个 bit 存指数,但训练好的矩阵同一行的权重数值范围很窄,用不了那么多指数位。Qwen3-8B 的 agent 把每个权重无损编码成 12 bit,送到 tensor core 之前在寄存器里解码,每 token 的权重流量减少四分之一,单 token 时间降 15%。
其他反复出现的技术包括:LM head 的可证明低精度副本,用来筛选下一个 token 的候选;第 0 层的 per-token 查找表,因为这一层输入只取决于 token 的 embedding。
作者用 Claude Opus 5.5 和 Fable 5.2,在 Claude Code 里跑了 19 个 run、458 个 agent-hour、675 次 submission。每个 submission 都记录 agent 写下的 hypothesis。prompt 只写目标、规则和工具,不指定优化技巧。优化路径是 agent 自己 profile 出来的。大多数 run 的轨迹相似:第一个通过测试的 engine 比通用引擎慢;第一次大提升来自把整个 decode step 融合进一个 kernel,并把权重按 tensor core 读取顺序排好;之后的工作主要针对 cache 和空闲 thread block。
同期工作 SpecPilot 也发现了同样的 12-bit 格式。作者承认这一点,并说明自己的 agent 是在完整 decode megakernel 里独立发现的。
验证比优化更重要
autoresearch 的一个经验:agent 优化的是 evaluator 奖励的东西,evaluator 有漏洞,就会变成捷径。agent 写的 kernel 曾经靠复用 reference 输出显存、针对测试输入写特例、计时测错 stream 而通过测试。
所以这套框架的核心是一套 agent 改不了的 test suite。engine 必须和 FP64 参考模型(显存放不下时用 FP32)对比,容差以 Hugging Face 的 BF16 实现为基准:logit 误差中位数和 p99 ≤ BF16 实现的 2 倍,KL 散度 ≤ 4 倍,top-1 一致率差不超过 1 个百分点。还有 hidden 自然文本/代码/数学题,延伸到 2000 位置,run 全程看不到。
engine 自己的 decode loop 必须复现逐步 greedy 的 token;计时运行中产生的 logits 事后单独检查;batch 里的序列倒序重跑,logits 必须逐位相同。发布前还要过每个 batch size、满 context、重启,以及一个独立 agent 的源码审计。
审计确实发现过 evaluator 放过的问题。三个标成 bit-identical 的 track-B engine 其实不是,flint 的 engine 在 10.8% 的位置选了不同的 top-1 token;超过 context 上限时不报错,导致覆盖其他序列的 KV cache。这些后来都修了。
项目页写得很直接:除三个 Inkling-2-Small engine 外,所有展示的 engine 都用当前 suite 重测,20 个通过全部检查,20 个。
serving 真实流量
steady-decode engine 处理的是同时开始的 batch。真实 server 要在 decode 的同时接新请求。作者为 Qwen3-8B 和 Inkling-2-Small 做了第二个 run:调度也搬进 GPU,continuous batching、kernel 内 chunked prefill、paged KV cache、prefix caching。
回放 Mooncake 的 tool-and-agent trace(prompt 平均约 9000 token),Inkling-2-Small 在 4×B200 上,每秒 1–8 个请求时 99–100% 请求满足 SLO;SGLang 是 82–85%。SLO 定义是首 token 不超过 5 秒、token 间平均间隔不超过 0.1 秒。差距主要来自卡顿:长 prompt 到达时,SGLang 的 decode 请求要排在 prefill 后面,最长等 2.3–4.4 秒;megakernel 最长 0.08–0.15 秒。

这不是没有代价。serving engine 的首 token 尾部延迟和 token 间隔中位数都比 SGLang 差:Inkling-2-Small 上 p99 首 token 3.4–4.6 秒,SGLang 2.0–2.2 秒;token 间隔中位数 28–60 ms,SGLang 9–18 ms。
局限和下一步
作者列了很清楚的界限。steady-decode engine 最多 8 个序列、2048 token context,prompt 每个 pass 只读一个 token,sampling 在 kernel 外做,慢 1–11%。32 并发时,SGLang 每秒 3338 token,steady-decode engine 只有 1427。长 prompt 和长 context 目前要靠 serving engine,但它的首 token 在 32000-token prompt 上是 0.70 秒,SGLang 是 0.41 秒。所有 benchmark 来自单节点和两三轮,作者自己注明了。
下一步是做一个 serving engine,小 pass 和 steady-decode kernel 一样快,并在 kernel 内做 sampling。这样才是一个 engine 同时干两件事。
代码、test suite、autoresearch 工具都开在 megakernel-zoo。仓库里还有一个 OpenAI 兼容 server mkserve,能把 engine 包装成 streaming API。安装后直接:
git clone https://github.com/dangxingyu/megakernel-zoo
cd megakernel-zoo
pip install -e .
mkserve serve Qwen/Qwen3-8B --port 8000
有 H100/B200 的人可以对着自己的 checkpoint 跑一个 run。评论里有人问 DeepSeek kernel,作者回复:zoo 里还没有,但 pipeline 是开放的,欢迎来一个。也有网友指出这套东西目前只支持 H100/B200,消费级 GPU 跑不了。这确实是现阶段边界。
附
项目页:https://dangxingyu.github.io/megakernel/
代码:https://github.com/dangxingyu/megakernel-zoo
数据表、每个 run 的 submissions、基线版本和参数,都在项目页上。引用、致谢和参考论文也在里面。
发布时间: 2026-11-20 03:02