OVH 放出 7B 小模型 Olala mini 预告:8GB 显存能跑,权重还没影
OVHcloud 预告 Olala mini,7B 总参数、1B 激活、256 个专家,8GB 显存可跑,32k 上下文。Reddit 讨论的重点是 benchmark 和权重在哪。
OVHcloud 是欧洲的云服务商。Reddit 用户 clem844 在 LocalLLaMA 版放出了 Olala mini 的消息。参数配置挺有意思,社区第一反应是找权重。

按帖子里的说法,Olala mini 总参数 7B,每层 256 个专家,推理时激活 1B 参数,采用 Differential-TPA 和 Mamba-3 的混合注意力,BF16 格式。因为每次请求只用到一小部分模型,它对显存的要求降得很低。官方给出的数字是 8GB 显存的 GPU 就能跑,在 RTX A4500 上 160 tokens/s,纯 CPU 也有 50 tokens/s。上下文窗口目前 32k。
这个配置指向很明确:小 MoE,低激活,尽量让本地设备跑得动。32k 上下文现在不算长,有网友说这是 2024 年初的水平,不过也有人认为这类小模型本来就不是给长上下文场景用的。评论里还贴了一句:1.1 版本预计年底发布,上下文扩展到 128k,数学推理也会改进,听起来像后续还要继续微调。
问题在于,目前只有新闻稿,没有 benchmark,没有权重。IntelArtiGen 的评论很直接:没有 benchmark,没有权重,这就是一份没什么用的新闻稿。Balance- 则指出,官方说 11 月 19 日在 OVHcloud AI Summit 上正式发布,这更像是在预告一场预告。还有人发现,Hugging Face 的 OVHcloud 模型页面上还没看到模型,Apache 2.0 开源的说法先出来了。
速度数字也被人泼了冷水。eightone-81 说,希望不是一堆烂 token 在快速生成,拿速度炫耀不如拿输出质量和可用性说话。jacek2023 说在 X 上看到了消息,但找不到权重。Kahvana 则猜,OVH 训练这个模型也许是为了测试自己的训练基础设施。
现在能确认的信息就这些:一个 7B 总参数、1B 激活、256 专家、32k 上下文的小模型预告,8GB 显存可跑,Apache 2.0,11 月 19 日正式亮相。至于它到底好不好用,得等权重和 benchmark 放出来再说。
发布时间: 2026-11-17 18:14