Wink Pings

他们让模型中间层循环了3次:Inkling 2 Mini,26B参数跑在笔记本上

Thinking Machines发布Inkling 2 Mini:26.4B MoE,looped transformer,中间层循环三次,约20GB内存即可本地运行。DeepSWE v1.1达48.2%,sub-100B开放模型第一。Unsloth已出GGUF量化版,16GB RAM能跑。

Thinking Machines今天发布了Inkling 2 Mini。26.4B总参数的MoE模型,3.4B激活,内存占用约20GB,目标很明确:让你在笔记本上跑一个有足够推理能力的agentic模型。

它最特殊的地方是架构。Inkling 2 Mini是一个looped transformer。常规transformer中,每个token按顺序经过每一层一次。Inkling 2 Mini的24层分成四块,中间两块(第7-18层)对每个token重复计算三次。也就是说,每个token实际经历了48层计算,但只存储了24层的权重。

这样做的收益:模型可以在输出token之前做更深的内部推理,因此需要写出来的思维链更短,尤其对agentic coding这类依赖推理质量的任务。官方数据是DeepSWE v1.1 48.2%,Vals Index v2.2 46.5%,AA Index 20.1(并列最高)——都是sub-100B总参数开放权重模型里的第一梯队。对比一下,Qwen3.8-27B的DeepSWE是42.2%,SWE-bench Pro v2 Hard是73.8%,Inkling 2 Mini是77.9%。

image

image

但loop提升的是推理,不是知识。AA-Omniscience这类事实性基准,它和其他26B模型持平。它的解决方案是用工具:BrowseComp 79.0%,DeepSearchQA 85.3%,MCP Atlas 82.7%,在同尺寸开放模型里都是最高。说白了,知道自己不知道什么,然后去查。

训练方面也有点意思。模型原生就是NVFP4 4-bit精度训练的,20层NVFP4 + 4层MXFP8,部署时就是训练时的精度,没有二次量化损失。中间还做了剪枝:训练中把三分之二的专家剪掉,再用1T tokens蒸馏治愈。所以最终只有26.4B总参数,但保留了更大的内部模型的性能。

本地部署是重点。官方说Mac 32GB RAM就能跑,DGX Spark也行。Unsloth动作很快,已经放出Dynamic GGUF量化版,UD-Q4_K_XL 17.6GB,16GB RAM能跑,和8-bit版的top-token一致率98.0%。SGLang也发布了支持视频。

当然,本地跑起来是另一回事。有网友在3080 10GB + 32GB RAM上试,4096 context下只有2.89 t/s,勉强能跑。也有人直接说这架构wild,终于有个能实际下载下来玩的模型了。

image

这里还有个更深的点。Loop架构让模型在内部做更多计算,那它的思维链是不是会变得更难监控?Thinking Machines这次专门做了实验,还放出了一个variable-loop研究模型。

结论比较微妙:更多loop确实提升了模型的no-CoT能力,比如Think Fast时间跨度从1 pass的16秒涨到3 pass的37秒。但思维链并没有变得不可读——长度变短了,从3703 tokens降到1661 tokens,句子长度和词汇分布没变,只是更直接、更少回头改错。更重要的是,模型对自己思维链的控制力非常低,在CoT-Control-QA上,750-1250 token长度的CoT里,遵循指令的概率不超过0.1%。也就是说,目前还没看到loop让监控变得更难。

Inkling 2 Mini以Apache 2.0发布,权重在Hugging Face上,Tinker支持推理和微调。对一个26B模型来说,它把推理效率推到了一个新的位置。下一步看社区怎么用它。

官方博客:https://thinkingmachines.ai/news/inkling-2-mini/
Hugging Face:https://huggingface.co/thinkingmachines/Inkling-2-Mini
Unsloth GGUF:https://huggingface.co/unsloth/Inkling-2-Mini-GGUF

发布时间: 2026-11-21 07:47