Wink Pings

35B 总参数、3B 激活,Maxwell-V1-Flash 想解决长上下文太贵的问题

Maxwell Team 发布 Maxwell-V1.0-Flash,35B 总参数、3B 激活,支持 256K 上下文。核心是块稀疏注意力 MBSA 和细粒度 MoE。Reddit 讨论集中在它是否 Qwen 微调、KV cache 开销和 llama.cpp 支持。

Maxwell Team 放出了 Maxwell-V1.0-Flash 的模型卡。它是一个 MoE 语言模型,35B 总参数,每个 token 激活 3B 参数,两个数字都不含 embedding,上下文长度最高 256K。定位很明确:推理、agent、长上下文都要能打,同时把推理成本压在可接受范围。

Maxwell-V1-Flash benchmark

模型卡里最显眼的是注意力设计。Maxwell Block Sparse Attention 让每个 KV 组固定覆盖 8 个前缀块和 8 个本地 128-token 块,再由一个学习到的 indexer 挑最多 16 个远端块。这样一来,主注意力在每个 KV 组上被限制在 4096 token,但完整历史的 KV cache 仍然保留。官方说 MBSA kernel 在 256K 下比 dense GQA 快 6.7 倍。

另外两个结构点:Manifold-Constrained Hyper-Connections 用多条残差流,配合输入相关的学习聚合和受限混合,在不额外做注意力和前馈计算的情况下加宽信息流。Fine-Grained MoE 则把细粒度路由专家和常开共享专家放在一起,加动态路由校正偏置和轻量序列级负载均衡损失。

预训练用了约 26T token 的多语数据,大部分隐藏权重矩阵用 Muon 优化器。训练从 dense 开始,到 128K 中段才切进块稀疏注意力。切换前先拿 dense 全历史注意力把 indexer 暖起来,再和主干联合训练。长上下文训练按阶段从 4K 拉到 256K。分词器是脚本感知的多语分词器,对泰语、老挝语、缅甸语、高棉语、掸语这类低资源东南亚语言做了压缩。有网友在跟帖里说,终于有模型不会让缅甸语打招呼也收 4 倍 token。

后训练分两段全领域 SFT,先建通用、推理、agent 能力,再针对更难的推理题和 agent 轨迹。之后独立 RL 分支分别覆盖通用任务、可验证推理(数学、科学、逻辑、代码)和 agent 任务(搜索、终端、函数调用、软件工程),最后用多教师 on-policy 蒸馏,把几个分支合成一个模型。

Reddit 上的第一反应很统一:这参数配置太像 Qwen 3.5 35B A3B。有人直接问是不是 Qwen 套皮微调。跟帖里有人核对后说,架构不同,词表 200k 对 151k,注意力类型也不一样,训练是从头做的。还有用户提到,35B 总参数、3B 激活这个组合确实容易让人联想到 Qwen,但 Maxwell 的 benchmark 对比和架构改动说明它不是简单改一版。也有人对 benchmark 分数感到意外,觉得 sparse attention 设计有吸引力。

Maxwell meme

讨论里另一个焦点是 KV cache。有人估算 Maxwell 的 KV cache 大约是 Qwen 3.5 35B 的 4.5 倍,256K 上下文接近 24GB。跟帖解释,Qwen 用了交错层和类似 Mamba 的状态空间层来压 KV cache,Maxwell 没走这条路,等于让模型交这笔缓存税,换更少的精度妥协。这个说法是否精确可以再查,但它点出了长上下文模型绕不开的取舍:省显存和保效果,通常得选一边。

工程侧也有现实问题。有人问 llama.cpp 支持,目前帖子里没看到;没有 GGUF,CPU expert offloading 不会是最舒服的用法。对想在小 MoE 上跑长上下文的人来说,这会直接影响部署选择。模型卡给了 GitHub 和项目页,跟帖里也有人贴了 quickstart 文档。社区在等量化,尤其是能把这 256K 上下文塞进消费级硬件的版本。

项目页:https://maxwell-llm.ai/
GitHub:https://github.com/maxwell-model/Maxwell-V1-Flash
Quickstart:https://maxwell-llm.ai/docs/quickstart

参考:Reddit r/LocalLLaMA 帖子“maxwell-model/Maxwell-V1-Flash · Hugging Face”。

发布时间: 2026-11-17 12:04