Inkling-2-Mini用23分钟做完两个更大模型没完成的任务
Reddit用户RaDDaKKa在Godot开发中把添加碰撞形状的任务交给Qwen3.8 Next Flash和GLM 5.3 Flash,各跑了一两小时没搞定。换用Inkling-2-Mini后,23分钟完成。评论区里讨论速度差异、安全限制和测试条件是否公平。
有网友在r/LocalLLaMA上发帖,说了一件小事。他在Godot里做游戏,习惯把任务丢给agent,自己去忙别的。新场景搭好,资源摆上,剩下给物体加碰撞形状。这种事交给模型,按说应该不难。
他把任务给了两个模型,跑在R9700上:Qwen3.8 Next Flash Q4 XL,生成速度30到40 tok/s;GLM 5.3 Flash Maya-S,7到10 tok/s。两个模型各跑了1到2小时,没做完。
后来他好奇,在5060 Ti上试了Inkling-2-Mini。启动参数:
./llama-server \
-hf unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_M \
--n-cpu-moe 14 \
--jinja --ctx-size 150000 --n-gpu-layers 99 --parallel 1 \
--temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0 \
--host 127.0.0.1 --port 8080
prefill 283 tokens/s,生成18到23 tok/s。23分钟,任务完成。另外两个模型各花一两个小时没搞定的东西,这个26B的模型做完了。
跟帖讨论不少。
有人希望Thinking Machines出100B左右的MoE,因为594B跑不动。有回复说26B MoE是个有用的细分市场,但另一位网友反问:26B的MoE如果生成速度和27B dense一样慢,有什么意义?
速度体验差异很大。有网友用llama.cpp,在Asus GX10上只有7 tok/s,说忍了7个小时忍不了了。但另一位网友说同样GX10,用官方量化版本和vLLM镜像,264K上下文,prefill 2500以上,小上下文70 tok/s,大上下文50到60。还有网友测vLLM,生成速度在24到87 tok/s之间波动,最常见40到60。
也有人问16GB显存怎么塞下150k上下文。回答是把专家权重放到CPU。有网友觉得26B模型不该需要这样,上下文显存需求高得不正常,可能是bug。
安全限制也是一个槽点。有网友在测试一个Minecraft主题记事本的Android项目时,模型因为可能侵犯版权拒绝工作。绕过之后,它看到笔记里有脏话,开始思考在儿童游戏主题的记事本里骂人是否道德。等它思考完,四小时过去了。这位网友说如果这成为常态,他宁愿继续用自己的ninfer 3.8 27B。
还有一层讨论值得记一笔。有网友提到"jagged frontier":模型在某些事上会异常地好,小的弱模型可能在一件意想不到的事上赢过大的。benchmark是一把尺子,但这把尺子是锯齿状的。所以他自己按任务用不同模型,也留着旧模型。
也有网友指出测试条件不完全公平:150k上下文、14层专家权重放CPU,跟R9700上的运行条件差很远。比较混合了硬件和模型两个变量。公平的测试应该用同样的任务、上下文大小和卸载设置,看从开始到出结果花多少时间。
还有人注意到,一位质疑测试公平性的网友,其评论被一个叫stylome的AI检测器标记为AI生成。
但这个结果本身还是有意思。两个更大的模型花了一两小时没做完的事,一个26B模型23分钟做完。agent场景里没人在旁边盯着输出,能不能做完比跑多快重要。
发布时间: 2026-11-21 16:38