85 个贡献者、一周 13B tokens：他们想把大模型训练搬到闲置显卡上

Reddit 的 r/LocalLLaMA 上，CrowdGPT 项目更新了进度。目标很直接：用社区贡献的闲置 GPU 和数据，训练一个 10 亿参数的 Transformer，叫 Crowd-v1。项目发起人 Vxtzq1 说，整个过程不依赖数据中心，成本为 0 美元，项目 100% 非营利、开源。短期目标是对标 Qwen3-0.6B，在基准测试里达到或超过它，作为概念验证。之后如果贡献者够多，再扩到 7B A1B MoE，甚至 30B A3B MoE。模型规模由社区决定。

上一轮更新时，项目有 85 名贡献者注册。一周内训练了 13B tokens。Vxtzq1 在帖子里写，感谢早期贡献者，也想象了一下 1000 多人用闲置 GPU 能训练出什么。数据同样可以提交，任何人可以在 crowdgpt.net 提交数据，只要内容安全就会被用于训练。代码在 GitHub 上可审计。权重放在 HuggingFace，每 4 小时更新一次，当前版本可以下载和推理，不过效果还不好。

讨论里最实际的问题是带宽。有跟帖提到，Folding@Home 式 LLM 训练一直被认为不可行，原因是参与节点之间的带宽太差。Vxtzq1 的回应是：客户端一次训练约 30 分钟，传回更新的频率降低；中心服务器负责协调和检查，比纯 P2P 稳定，也能拦恶意贡献；光纤连接约 100MB/s，上传下载更容易。ADSL 用户会慢，但仍然能跑。

中心化也被质疑。jazir55 认为，单点故障这个说法太轻，项目一旦有规模，服务器就是首要攻击目标，安全模型需要更新。另一个跟帖 LacheradeCanji42 指出，1B 模型全量权重同步只有几 GB，真正难的是 30B MoE。Vxtzq1 说会一次只训练一个或少量专家，下载量从 60GB 降到 6GB，并用 DivMoE 这类方法把 3B 基础模型克隆成 MoE。相关论文在 arXiv。

恶意贡献怎么防？Vxtzq1 说服务端会做严格的拜占庭交叉检查。如果客户端用任意数据训练，梯度不同就会被标记。跟帖里 jjusko20 表示愿意贡献几块 V100，还有从 Qwen 蒸馏的数据。

实际跑过的人也提了改进点。LirGames 说上传阶段可以并行到下一轮计算，1GB 上传造成不少停机；3 个 worker 验证同一份数据可以优化；区块链、单实例多 GPU、隐藏 0 贡献者的 leaderboard 也被提到。NortySpock 用 2080 Ti 跑了几轮，建议预取下一轮数据或把上传放后台线程，能省约 60 秒。他还把项目塞进 Docker volume 做沙盒，准备提 PR。

训练需要多少 token？Vxtzq1 估计 Crowd-v1 要 100B tokens 才算有点能打，再做约 1B tokens 指令微调，最后用 RLHF 提升安全性。有跟帖问 20 倍参数量的常规估算是否够用。

项目还在早期，训练机制和数据集都开放讨论。它能不能真的训出有竞争力的模型，没人能保证。但 85 个人用闲置显卡一周跑出 13B tokens，这个数字本身已经说明，社区协作训练至少值得试一次。