Wink Pings

Reddit 用户实测 Inkling:比 Qwen 更会说人话,但英语中心化严重

r/LocalLLaMA 上有人把 Inkling 和 Qwen 放在一起比。结论是对话流畅度明显更好,token 消耗少一半,但非英语场景下露了馅。

r/LocalLLaMA 上有个帖子,标题两个词:Inkling simply cheff kiss。

发帖人 Altruistic_Heat_9531 把 Inkling 和 Qwen 3.8、QFN 放在一起比。结论很直接:Qwen 那两个在对话里“跳得很”,聊到不太懂的话题,得反复说“请用最简单的语言解释”,甚至直接回一句“什么?”。有时候连自己熟悉的话题都能被绕晕。

Inkling 的输出则是另一种状态。原话是“像黄油一样顺滑”,节奏和语流自然。

Inkling 对话截图

先补背景。讨论里主要提到的是 Inkling 2 Mini,26B 的 A5B MoE。libregrape 在编辑里补了一句,说 594B 的模型被叫“small”,实在离谱。

跟帖里 Kahvana 眼尖,指出截图里“Not X but Y”句式至少出现了五次。底下有人贴表情包附和,还有人说咱还得再“unslop”一下这个模型,意思是 AI 味还得清理。

表情包回复

用户 libregrape 对 Inkling 2 mini 的评价更高,直接叫“杰作”。他说模型对话可读性强,不像 Qwen。更关键的是思考 token 省了一大截:同样任务,Inkling 大概 30k token 搞定,Qwen 要接近 60k。

速度上,他在 5060 Ti 16GB 上跑到 45 t/s,没开 MTP。作为对比,他手上最优化的 Qwen 3.8 27B 配置大概 40 t/s。

libregrape 的回复

有人问 Q4 量化能不能塞进 16GB。回答是差点意思,Q4_K_M 大约 16.6GB,会溢出到内存,但 MoE 架构撑着,速度还能接受。建议是把循环专家留在 GPU 上。

不过并非所有人都觉得 Inkling 全面胜出。bigb159 问了个更实际的问题:跟 Qwen 3.8 27B 和 QFN 比,真实用户验收结果怎么样。他的经验是参数越多结果越好,但内省式多循环可能在 20B 这个档位给出更好的回报。模型知道的不多,但从已知里拿出来的东西更好。

BitterFortuneCookie 的体验更具体:Inkling 思考比 QFN 快,中等任务够用,比如改配置、读大型算法交易仓库找总结回测、改手游仓库。但也遇到过卡循环,模型反复告诉自己要用工具,最后还是绕出来了。有时候需要更明确的指令,比如连接服务器时得手动指出用哪个认证文件,而 QFN 能自己找到。代码质量上,他还没看出跟 QFN 有明显差距。

发帖人特别提到一点:Inkling 英语中心化严重。他用印尼语试了试,输出更像从英语直译过来的,缺少真正多语言模型该有的本地化感。他的总结是,Inkling 像是 Gemma4 的对话流畅度加上 Qwen3.5 的技术能力。行为上让他想起 GPT OSS 系列。

之前帖子里说 128G VRAM 是笔误,实际是 128G 内存加 24G 显存。用的是 llama.cpp,上下文开到 512K(YaRN),这可能是慢的原因。他正在编译 vLLM 的 nightly 版本。有人用 DGX Spark 跑,40 到 60 token/s,峰值能到 80 到 90。

帖子里列了一串正在跑的个人基准测试:Infra ApacheBigTop Bench、Infra handle Bench、CK-FSDP impl Bench、Tensor SubClass bench、Mini SlopCode Bench、Angrybird bench。从数据湖搭建到 FSDP 张量打包,再到物理相关的 SVG 鹈鹕测试,覆盖面不小。

跟帖里最具体的一段,是 Librarian-Rare 把截图里的对话转成了文字。用户追问“路由器和 256 个专家”的问题,指出路由器只是隐状态上的小型线性投影,真正的表示学习在注意力和专家网络里,为什么把更多智能归给路由器。

Inkling 的回答承认自己之前夸大了。它解释说路由器确实是小的线性门控投影,不负责重的语义表示学习。真正的学习发生在共享注意力、嵌入和专家网络里。256 个小专家改变的是路由错误的后果和组合负担,路由器本身的表示能力没变,但它的控制作用变得更关键。

回答最后还给了句更好的表述:“路由器变成了更高价值的控制点,而不是承载含义的表示。”

速度:446 token,18 秒,24.67 t/s。

最后有个小插曲。用户 Nanushu 说自己最近在所有 agent 系统提示里加了一条,要求技术讨论按 ASD-STE100 格式回复,效果“水晶般清晰”。底下有人回,这导致他的模型开始数句子长度。

发布时间: 2026-11-21 22:23