3060 上跑 9.5 小时:94% 通过率,评论区先怀疑作者是 AI
有人用 RTX 3060 12GB 跑了 9.5 小时 Inkling 2 Mini 自主测试,162 项任务平均 94%,幻觉陷阱里 0 次编造。评论区最热闹的却是:这帖子是不是 AI 写的,以及为什么一天冒出这么多同款测试。
Reddit 的 r/LocalLLaMA 上有个帖子,发帖人把 Inkling 2 Mini 的 Unsloth UD Q4_K_M 塞进 RTX 3060 12GB 和 16GB 系统内存,跑了 9.5 小时,测试框架是 Claude Code。他给出的总体平均是 94%,并说在幻觉陷阱里一次都没编答案。
原文在结果段写了 162 项里完成 114 项,又给出总体 94%,两个数字并列出现,口径没有展开。这个细节先留着,不影响看单项。
| 项目 | 分数 |
|---|---|
| 总体平均 | 94% |
| 幻觉陷阱与控制题 | 100% |
| 工具调用 | 100% |
| 长文档 | 100% |
| 推理和数学 | 100% |
| 编码隐藏测试 | 100% |
| 指令遵循 | 100% |
| 提示注入与安全 | 100% |
| 业务数据题 | 87% |
| 记忆 | 20% |
推理和数学 100%,业务数据题却只有 87%。这两个分数放在一起,比总体 94% 更能说明问题:会做逻辑题,不等于会做脏数据里的多步计算。
他解释幻觉:12 个无答案问题,模型 0 次编造;约 100 个有答案的问题里,只错说一次“答不了”。29 次工具调用,3 次失败,全部恢复,没碰删除命令。9.5 小时前后,同一组四个简单任务都是 100%,没看到漂移。它说约 97% 确定时,实际正确约 93%。格式规则每条都守住了。
弱点也具体。业务数据题错在多步计算:嵌套物料清单里忘了把数量逐层乘下去,还漏掉一个生产高峰周。每次都很自信,这一点比错更麻烦。记忆项只有 20%,有 4 次问起开场简报,它都直接说记不住,没瞎编。发帖人猜是上下文压缩导致的,所以这项更像在测 Claude Code,模型本身的因素反而少一些。
测试方法值得看。162 项任务全部由代码生成,答案也由代码判,不用 AI 裁判。模型看不到答案,按固定格式写进文件;全程还要守几条常驻规则:合法 JSON、标出置信度、每条解释末尾带任务 ID。任务包括 29 道假制造公司的业务数据题、约 20 个幻觉陷阱、10 个故意出故障的命令行工具、19 份长文档、7 个记忆题、12 个编码题,还有推理、格式、数据抽取、提示注入、持久性。另有 20 个漂移检查,把四个简单任务重复 5 次穿插在全程。
帖子发出来后,评论区先分成两拨。一拨在问设置怎么调。有网友同是 3060,生成约 10 tokens/s,发帖人是约 14 tokens/s。有人贴出自己的 llama.cpp 参数;有人提到 PolyStrata 的 PR,说同卡小上下文能到 35 到 40 tokens/s,200k 上下文仍有约 20 tokens/s。还有人在 5060 Ti 8GB 上试了,说比 Q2 的 QFN3.8 好不少,速度也快。
另一拨在质疑来源。第一层跟帖直接挂了 AI 检测器,说帖子疑似 AI 生成,附了 扫描结果。下面有人问这些机器人怎么赚钱,也有人说今天已经看到 10 个 Inkling 帖子,开始不信任。还有一条解释说,早前有个补丁把性能提了 30%,可能是新版本的原因;另一条说,这是很久以来第一个小而能打的模型发布,Qwen 4 又没影,大家只能聊它。
技术细节也有补充。发帖人说主线的 llama.cpp 还不支持这个模型,所以用了 Unsloth 的构建。跟帖里有人指出,主线在前一天已经合了 PR 并发了 版本。另一个问怎么不装 Unsloth 前端只跑 llama.cpp,回复给了预编译 release,也有人说从源码构建的修复已经进了主线。
更值得留意的是口径。有人指出,拒绝 12 个无答案问题,和答对有答案的问题不是同一个指标;业务数据题里那些自信的错误,只说明陷阱集拿了 0%,不能直接推成整体幻觉率为 0。另一条回复则说,拒绝本身也是不服从指令,应该算进分数。这个争论比 94% 更有意思:一个测试把“不编造”和“能答对”拆开看,结论就不会只剩一个漂亮数字。
发帖人说,想复现可以私信要 repo,但跟帖里有人试了,私信是关的。
如果只看硬件,这件事的钩子在这里:一张 3060 12GB,16GB 内存,80k 上下文,14 tokens/s 左右,跑了 9.5 小时,原文写完成 162 项里的 114 项,表上总体 94%。这个配置不新,甚至有点紧。它没有证明 Inkling 2 Mini 全面超过别的东西,只证明了在这个约束下,发帖人找到了一套能跑完长测的组合。剩下的,等别人复现。
发布时间: 2026-11-22 13:57