Wink Pings

一个 Vulkan 补丁,让 R9700 上的 Inkling 2 Mini 预填充快了 3.2 倍

r/LocalLLaMA 用户测试了 llama.cpp 的 Vulkan 补丁 #32735,Radeon AI PRO R9700 上预填充从 507 t/s 升到 1604 t/s,但 16K 上下文的提升收窄到 2.3 倍。评论区里,8GB 显存卡还在和分配日志较劲。

llama.cpp 的一个 Vulkan 补丁,在 Radeon AI PRO R9700 上把 Inkling 2 Mini 的预填充速度拉到了原来的 3.2 倍。帖子发在 r/LocalLLaMA,作者是 pmttyji。补丁对应 PR #32735,提交者是 Revertron,改动标题是 support non-contiguous src in SCALE。

测试模型用的是 Unsloth repo 里 Mainline_Support 文件夹的 Inkling-2-Mini-UD-Q8_K_XL.gguf。测试命令为 llama-bench -ngl 99 -fa 1 -ctk q8_0 -ctv q8_0 -p 512 -n 128 -d 0,16384 -r 3。数字里的 pp 指预填充,tg 指逐 token 生成,单位都是 token/s。

测试修复前 b019be0c修复后 0ea4ffd0变化
pp512507.3 +/- 5.31604.8 +/- 7.83.2x
tg12819.1 +/- 2.653.8 +/- 0.22.8x
pp512 @ d16384388.1 +/- 4.0892.9 +/- 28.62.3x
tg128 @ d1638418.9 +/- 0.447.8 +/- 0.62.5x

原帖测试截图

变化在短上下文上最明显。到了 16K 上下文,预填充的提升从 3.2 倍缩到 2.3 倍。评论区有人指出,这个数据形态说明补丁主要帮短回合,长上下文预填充还是会摊薄收益。

8GB 显存用户的问题更实际。一位 RX 6600 用户说,这张卡现在的主要麻烦是日志里的 sched_reserve: Vulkan0 compute buffer size = 8945.34 MiB。PR #32740 能把这块降大约 800MiB,但看起来还是不对。另一位用户遇到的情况更怪:日志说 6000 的 compute buffer,却还有 -3300 没算进去。同样的命令行,ROCm 下 compute buffer 只有 2000,另有 400 未计入,Vulkan 反而能塞下更多上下文。

也有 9060 XT 16GB 用户回帖说速度翻倍,并问还有没有继续提速的空间。pmttyji 回帖说仓库里还有相关 PR 开着,并给了相关 PR 列表。对 8GB 卡来说,速度是一方面,显存分配日志更值得盯。原帖最后也在问 8GB VRAM 用户的实际 t/s。

发布时间: 2026-11-22 15:54