Wink Pings

26B 模型塞进笔记本,Inkling 2 Mini 把中间层循环了三遍

Thinking Machines 发布 Inkling 2 Mini,26.4B 总参数,约 20GB 内存,笔记本可跑。它用循环中间层换推理,DeepSWE v1.1 拿到 48.2%,还能离线生成可玩飞行模拟器。

Thinking Machines 发布了 Inkling 2 Mini。定位很直接:26.4B 总参数的 MoE,约 20GB 内存占用,能在笔记本上跑。Mira Murati 在 X 上给它的标签是 looped transformer,中间层每个 token 跑三遍。

这个循环设计是重点。模型共 24 层,分成四块,每块 6 层。中间两块重复跑三次,首尾两块各跑一次。官方解释,中间层更偏抽象推理,首尾层更多负责 embedding 和内部表示之间的转换。把循环放在中间 12 层,在 27 个评测里比循环最后 12 层收益更大。

参数上,它是 MoE,26.4B 总参数,3.4B 激活参数。算上循环,每 token 权重激活量是 5.4B。权重大部分用 NVFP4 训练和部署,最后四层用 MXFP8,总内存约 20GB。官方说 Mac 至少 32GB RAM 可以通过 Ollama 跑,也支持 NVIDIA DGX Spark。

性能方面,官方给出的数字是 DeepSWE v1.1 48.2%,Vals Index v2.2 46.5%,AA Index 20.1。在 100B 以下开放权重模型里,它在多个 agentic coding 基准上领先。SWE-bench Pro v2 Hard 77.9%,BrowseComp 79.0%,DeepSearchQA 85.3%。

Inkling 2 Mini 的本地运行与基准信息图

图来自 X 网友 Md Ismail Šojal 的回复,具体数字以官方模型卡为准。

循环带来的另一个变化是推理过程。模型可以在每个 token 上做更多内部串行计算,所以写出来的 CoT 可以更短。官方用可变循环研究模型做了实验,三遍循环时,无 CoT 时间跨度从一遍的 16 秒升到 37 秒。串行推理任务 N-Hop Lookup 随着循环次数增加继续变好,十遍时仍有提升。

这对监控有直接关系。循环让模型少写推理,理论上可能让 CoT 监控更难。官方在这个规模上没有看到可监控性明显下降。五遍循环的 CoT 平均长度不到一遍的一半,但句子长度和英文词占比没变,模型只是更直接,回头检查更少。在 agentic sabotage 测试里,增加循环也没有明显变差。

官方放了两段本地 demo。第一段是在 MacBook Pro M5 Pro 48GB 上开飞行模式,模型用几分钟搭出一个能玩的飞行模拟器。视频里计时是真实时间,大部分画面 15 倍速播放。

第二段是 Thinkyville,一个像素小镇,20 个居民由同一个 Inkling 2 Mini 在离线 MacBook 上驱动。

限制也清楚。多轮聊天和复杂约束指令偏弱,MultiChallenge 50.0%,ComplexConstraints v1.1 33.4%,都落后 Qwen3.8-27B。推理密集型基准 CritPt v2 和 HLE-Diamond 也落后更大的模型。循环能增加推理步数,不能让权重记住更多事实。知识密集型任务大致在同尺寸水平,它靠搜索和工具使用补短板。

有网友在回复里问能不能在 M3 MacBook Pro 16GB 上跑,也有人问什么时候上 iPhone。官方给的本地门槛是 Mac 至少 32GB RAM,通过 Ollama 运行。想折腾量化版,可以看 Unsloth 和 llama.cpp 的 GGUF。Hugging Face 上有完整权重,Tinker 上可以推理和微调。

小模型把参数压到笔记本能跑,这件事已经不新鲜。Inkling 2 Mini 值得看的地方在效率:循环中间层、低比特训练、剪枝后 healing,这些选择一起决定它每个 token 怎么花计算。桌面端能不能常驻,最后不看 demo,看真实任务里的延迟、工具调用和稳定性。

官方发布文:https://thinkingmachines.ai/news/inkling-2-mini/
模型卡:https://thinkingmachines.ai/model-card/inkling-2-mini/
Hugging Face:https://huggingface.co/thinkingmachines/Inkling-2-Mini
Mira 的推文:https://x.com/miramurati/status/2123872534970208421

发布时间: 2026-11-21 19:05