那个被自制引擎轻松超过的 llama.cpp,现在追回来了
有开发者用 RTX 5080 笔记本写了个自制推理引擎,几个月前还轻松跑赢 llama.cpp。最近他重新测了一遍,发现对方已经反超。数据不算严谨,但方向挺清楚。
几个月前,有位开发者在 r/LocalLLaMA 上发帖,讲了个挺有意思的小实验。他手上是一台 RTX 5080 16GB 的笔记本,当时觉得 llama.cpp 跑起来偏慢,而 vLLM 虽然快,显存用得又太浪费。于索自己 vibe-code 了一个推理引擎,专门针对自己的硬件做优化。
那会儿的结论很直接:随便搞搞,就能比 llama.cpp 快。
最近他又把 llama.cpp 拉出来跑了一遍。结果反过来了,llama.cpp 已经追上,甚至超过了他自己写的引擎。他在帖子里说得很实在,与其用一堆 vibe-code 出来的东西,包括自己那个,不如用一个稳定、功能齐全的引擎。项目看起来慢,但一直在往前拱。

他贴了张自己手头攒下来的 benchmark 图。测试条件说得也比较坦白:固定 16k prefill、1k output,跑 Wikipedia 文本,每个引擎都用各自的最优设置。12B 模型用的是同一个 checkpoint,26B 模型各家量化不同,严格说不算完全对等,但 llama.cpp 还是赢了。他自己也强调,这图谈不上科学,只是给个直观感受。
跟帖里有人点出了一个关键区别。很多 vibe-code 的小项目其实是建在 llama.cpp 之上的,再加一些只对某个模型有效的特定优化,这类优化很难推广到通用场景,有些本身就是实验性质。换句话说,跑分时看着快,不代表能覆盖别人日常要用的那一堆模型和硬件。
发帖人也接了这个话头。他说 llama.cpp 其实同样实现了很多按模型做的优化,只是它得兼顾范围广得多的硬件、量化和模型支持,所以推进速度看起来慢一些。
中间还有一段小插曲。有人问他图里的“d2 decode”是什么意思,他回答是 MTP 2 draft tokens。对方接着追问,既然都自己写引擎了,为什么不把 spec decoding 也优化一下,draft 2 对普通 MTP 来说未必是最优的。这个讨论没继续下去,但问题本身挺有意思,自己写的引擎可以只盯着一个模型死磕,通用项目不能这么干。
这件事放在更大的背景里看,多少有点反常识。大家习惯性觉得大项目臃肿、慢,个人的小项目灵活、快。短期确实如此,针对单一硬件和单一模型做裁剪,很容易在特定跑分上占优。但把时间拉长,通用项目一点点把优化补上,覆盖面和稳定性一起往上走,最后反而成了更省心的选择。
发帖人自己的结论也差不多:比起追着最新的 vibe-code 引擎跑,他更愿意用一个慢一点但稳定的东西。数据不严谨,结论倒是挺朴素。
发布时间: 2026-11-16 04:34