一个 Vulkan 补丁,让 R9700 上的 Inkling 2 Mini 预填充快了 3.2 倍
r/LocalLLaMA 用户测试了 llama.cpp 的 Vulkan 补丁 #32735,Radeon AI PRO R9700 上预填充从 507 t/s 升到 1604 t/s,但 16K 上下文的提升收窄到 2.3 倍。评论区里,8GB 显存卡还在和分配日志较劲。
llama.cpp 的一个 Vulkan 补丁,在 Radeon AI PRO R9700 上把 Inkling 2 Mini 的预填充速度拉到了原来的 3.2 倍。帖子发在 r/LocalLLaMA,作者是 pmttyji。补丁对应 PR #32735,提交者是 Revertron,改动标题是 support non-contiguous src in SCALE。
测试模型用的是 Unsloth repo 里 Mainline_Support 文件夹的 Inkling-2-Mini-UD-Q8_K_XL.gguf。测试命令为 llama-bench -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0 -p 512 -n 128 -d 0,16384 -r 3。数字里的 pp 指预填充,tg 指逐 token 生成,单位都是 token/s。
| 测试 | 修复前 b019be0c | 修复后 0ea4ffd0 | 变化 |
|---|---|---|---|
| pp512 | 507.3 +/- 5.3 | 1604.8 +/- 7.8 | 3.2x |
| tg128 | 19.1 +/- 2.6 | 53.8 +/- 0.2 | 2.8x |
| pp512 @ d16384 | 388.1 +/- 4.0 | 892.9 +/- 28.6 | 2.3x |
| tg128 @ d16384 | 18.9 +/- 0.4 | 47.8 +/- 0.6 | 2.5x |

变化在短上下文上最明显。到了 16K 上下文,预填充的提升从 3.2 倍缩到 2.3 倍。评论区有人指出,这个数据形态说明补丁主要帮短回合,长上下文预填充还是会摊薄收益。
8GB 显存用户的问题更实际。一位 RX 6600 用户说,这张卡现在的主要麻烦是日志里的 sched_reserve: Vulkan0 compute buffer size = 8945.34 MiB。PR #32740 能把这块降大约 800MiB,但看起来还是不对。另一位用户遇到的情况更怪:日志说 6000 的 compute buffer,却还有 -3300 没算进去。同样的命令行,ROCm 下 compute buffer 只有 2000,另有 400 未计入,Vulkan 反而能塞下更多上下文。
也有 9060 XT 16GB 用户回帖说速度翻倍,并问还有没有继续提速的空间。pmttyji 回帖说仓库里还有相关 PR 开着,并给了相关 PR 列表。对 8GB 卡来说,速度是一方面,显存分配日志更值得盯。原帖最后也在问 8GB VRAM 用户的实际 t/s。
发布时间: 2026-11-22 15:54