26B最强小模型跑进16GB内存,Inkling 2 Mini发布
Thinking Machines发布Inkling 2 Mini,26.4B总参数、3.4B激活的MoE,用looped transformer把中间层重复跑三遍。DeepSWE v1.1拿48.2%,Unsloth的GGUF让16GB内存也能本地部署。
11月20日,Thinking Machines发布Inkling 2 Mini。26.4B总参数、3.4B激活的MoE,Apache 2.0。Unsloth同步推出GGUF量化版,16GB内存的机器就能跑。
之前Inkling 2 Small有594B参数,社区反馈太大。Mini把规模砍到26B,用looped transformer补推理深度:24层分成四段,中间两段重复跑3次,每token实际激活5.4B参数。支持1M上下文和图像输入。
官方给出的数字很能打。DeepSWE v1.1 48.2%,SWE-bench Pro v2 Hard 77.9%,SWE-bench Verified 79.2%,Vals Index v2.2 46.5%。官方称这是100B以下开源模型里最高的。对比Qwen3.8-27B,DeepSWE高6个百分点,SWE-bench Pro Hard高4.1个百分点;Terminal Bench v2.1和AA-Briefcase略低。
架构的取舍明确。looping提升推理,但不增加知识存储,AA-Omniscience分数和同尺寸模型差不多。官方用搜索和工具补齐这块短板。多轮聊天也不是强项,MultiChallenge 50.0%,ComplexConstraints v1.1 33.4%,都低于Qwen3.8-27B。做agent任务可能重复检查、未经确认就删文件、不准确报告结果,官方建议沙箱运行并设置输出上限。
原生权重约20GB,混合NVFP4/MXFP8精度。官方支持Mac 32GB(Ollama)和DGX Spark。Unsloth的GGUF把门槛降到16GB:推荐UD-Q4_K_XL,17.63GB,跟Q8相比KLD 0.0107,98.0%的top-token一致。想要更小的有UD-IQ2_XXS,8.49GB,90.6%一致。
# llama.cpp
llama serve -hf unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_M
# Unsloth
unsloth run --model unsloth/Inkling-2-Mini-GGUF:UD-Q4_K_XL --temp 1.0 --top-p 1.0 --top-k 0 --min-p 0.0
官方演示里,研究人员在飞行中的MacBook Pro上离线运行它,几分钟写了一个能玩的飞行模拟器。
Thinkyville demo里,同一个模型离线驱动20个村民,规划日程、传八卦。这类场景更适合跑多个持久agent,而不是单轮问答。
Looped transformer还带来一个值得关注的安全问题。模型可以在写出思考过程前做更多内部计算,CoT监控能读到的信息变少。官方在GPQA Diamond上比较了1 pass和5 pass的正确回答,推理长度从3703 tokens降到1661,可读性没下降,不确定性表述也少很多。N-Hop Lookup这类串行查表任务,10次loop还在涨。agentic sabotage测试里没看到loop数增多导致更隐蔽的趋势。
这些结论还只是初步分析。官方把可变loop模型也开源了,留给社区继续研究。对loop transformer的监控和可解释性,这是目前最值得关注的开源样本。
GGUF下载:unsloth/Inkling-2-Mini-GGUF
官方公告:Introducing Inkling 2 Mini
发布时间: 2026-11-21 17:45