Thinking Machines 的 26B 本地模型,社区先拿计算器算了一遍
总参数 26.2B、激活 3.4B,循环层跑三次后有效激活 5.4B;原生 256K 上下文,YaRN 拉到 1M,还带图像输入。社区最关心的是量化后稳不稳,以及 llama.cpp 什么时候跟上。
r/LocalLLaMA 上出现了 Thinking Machines 的新模型 Inkling-2-Mini,开源权重,GGUF 已由 Unsloth 托管。Thinking Machines 由前 OpenAI CTO 创立,这个背景在跟帖里被反复提。模型总参数 26.2B,单 token 激活 3.4B,原生多模态,文本和图像输入都走同一个解码器。
架构上,它是 24 层 decoder-only transformer,前馈层用稀疏 MoE。中间 12 层共享权重跑三次,所以每个 token 实际经过 48 层应用。每层里,每个 token 被路由到 128 个专家中的 8 个。注意力是局部层和全局层的混合。图像先由视觉 transformer 编码,再和文本一起投到共享隐藏空间。官方说明里有个容易漏掉的数字:每多跑一遍循环层,有效激活大约增加 1.0B;跑三次后,单 token 有效激活是 5.4B。

上下文这条也值得看。原生 256K,YaRN 拉到 1M。有网友直接把它和 Qwen3.8-27B 放一起比,说基准接近甚至超过。但下面也有人泼冷水,提醒 benchmark 不能全信。另一个跟帖读了官方博客后的说法是,它排在 Qwen3.8-27B 后面。这里先别急着下结论,等实际跑分更稳。

量化可能是它更适合本地的地方。Thinking Machines 说训练端到端用 nvfp4,Unsloth 那边观察到模型对量化反应很好,1-bit 量化还能保持 90% top-1。8-bit 的 UD-Q8_K_XL 体积 22.9 GB。对一张消费级显卡来说,这个体积比参数表更有说服力。GGUF 链接在这里:unsloth/Inkling-2-Mini-GGUF,训练说明在官方博客。
速度方面,有网友做了 napkin math:全精度下代码约 600t/s、散文约 350t/s,8 slots 能到 1400-1600t/s,而且还没上投机解码;短上下文 prefill 约 25k,128K 上下文约 15k;KV 占用约为同类一半,RTX5090 在 6/4 和 4/4 配置下分别约 1.1M 和 1.3M 上下文。这些只是网友估算,官方没给这组数。发布帖里最容易跑偏的就是这类数字,先当参考。

社区反应很直接。有人第一眼问 llama.cpp 支不支持,下面立刻有人回已经有 PR 开着。也有人关心 looped layers 到底意味着什么。一个解释是,token 会多次经过同一批层,不再只过一遍,等于用更多计算换深度,对同尺寸模型有帮助,但有上限。另一个顾虑更偏安全:有网友认为循环层会让模型把“思考”藏在内部,只输出它认为安全的内容。这个说法没有定论,但能看出本地用户对可控性的在意。
对话风格也被反复提。有网友说 Qwen 27B 跑工作流没问题,但说话像另一个物种;如果 Inkling-2-Mini 不继承那种过度思考,速度和使用体验会好很多。还有人提到之前有评论说它比 Qwen 更保守、幻觉更多,这成了犹豫点。对本地用户来说,模型不可信不行,动不动拒绝指令也不行。
参数、GGUF、PR、估算数字都齐了。接下来要看的是量化后的真实表现,以及它说话是否正常。这两件事比 benchmark 排名更能决定它会不会留在本地硬盘里。
发布时间: 2026-11-21 04:10