Wink Pings

跑分贴只报 token/s,这个社区终于提了个正经规则

r/LocalLLaMA 有人提议:发性能贴时必须写明量化格式、bpw 和模型大小。跟帖的讨论比提议本身还精彩,从 prefill 速度到 Q3 以下等于脑叶切除,再到显卡炫富段子。

r/LocalLLaMA 上有人发帖,标题很直白:请加一条版规,说 "I can run X at Y" 的时候,顺便注明用的是哪个量化、多少 bpw、模型多大。

发帖人的理由不复杂。最近新模型一波接一波,跑分贴也跟着变多,但大多只是「我能跑 X 到 Y」,不提量化。看着像情报,其实什么也对比不了。

跟帖的反应基本一边倒。有人补了一句:光聊速度没意义,真正该聊的是生成质量。原话是,我不在乎你把我的煎饼做得多快,如果每次都烤焦的话。这个比喻够用了。

另一条回复列了一长串应该补充的信息:服务器、启动参数、有没有用投机解码、GPU 驱动版本、是不是 mod 过的卡、有没有 offload 到 RAM、用没用 ngram。理由也很实在:这类帖子之所以没参考价值,是因为几乎没人分享同一套底层配置,就算硬件一样,生成方式也各不相同。短上下文下 500 tps 好看,长上下文首 token 要 17 分钟,这个数字就没意义了。而且并发一变、上下文一变,数字的参考性还得往下掉。

关于该报哪个速度,有回帖说别只报 TGs,PPs 对他有用得多。底下接着玩了一圈谐音梗,略过。

还有人提到量化标签本身就不靠谱。同样是 Q4_K_M,两个 repack 就是不同的文件,unsloth 的 UD 量化在不同层上分配不同 bit,所以实际该报的是文件大小,单位 GiB。kv cache 类型也一样,64k 上下文下 f16 和 q8 决定有多少层能留在显卡里。只写 Q4 会掩盖掉不小的差异,精确的量化字符串才算数。

一条说得挺清楚的回复是:支持。没有量化的 tok/s 数字几乎什么都说明不了,没法判断这模型是真快,还是已经被削傻了。最有用的帖子反而是那些硬件不夸张、配置写全的,什么卡、什么量化、多长上下文、测出来多少。这种可以直接拿去跟自己机器对比。

底下也照例出现了一点鄙视链。有人说 Q3 及以下就免了,对脑叶切除的模型没兴趣。有人顺着接:Q1 剪枝 0.1 bpw。再往下就变成显卡炫富的段子,24GB 起步、32GB 才算入门、两块 R9700 是性价比顶点之类。有人阴阳了一句:你们这些穷鬼,说得对哦。

比较现实的一层讨论在版务。有人问,提版规还指望执行?管理能把跑题帖处理掉就不错了,每次删帖都有人另开一帖哭诉 mod 越权。这个 sub 越做越大,公司政治和阴谋论的味道也跟着多了。

还有一条正经补充:就算规定了量化也不够,得有统一的 benchmark。自己搭一个很容易把速度做上去,那接下来又得再加一条规则来展示质量。

整件事的核心其实很简单:跑分贴不写清楚上下文,等于什么也没说。社区这次提的规则算不上多新鲜,只是终于有人把它写下来了。

发布时间: 2026-11-22 20:37