4B 可能就够了:350M 模型在 8GB 显卡上训出能跑的 3D 场景
Reddit 用户 ConfidentDinner6648 的训练记录:专门化的小模型在 3D 场景和代码任务上比预期走得更远,350M 能在 8GB 显存上全量微调,4B 在接近 96K token 的上下文里仍有结果。更值得注意的可能是数据质量和训练轮数。
Reddit 的 LocalLLaMA 版块里,ConfidentDinner6648 更新了一组小模型训练实验。原帖标题很直白:这位用户开始觉得,对一个专门化 4B 模型来说,大多数自己想用 LLM 处理的任务已经够了。
起点是 Qwen3.5-4B-3D-Coder。训练开始时,这位用户并不确定它能不能成。做完 3D 模型和 GLB 资产版本后,判断变了:4B 模型只要针对任务训练,可能足以覆盖不少实际场景,比如生成 3D 资产、搭建和编排复杂场景、webdev、后端开发、逆向工程。重点在多个专用版本,不必让一个模型把这些都做得一样好。目前 3D 结果最完整,其他方向还在试。
这位用户正在补一个新数据集,用来扩展 ThreeJS-3D-Scenes。新数据包含更复杂的场景,覆盖历史、地理、物理、生物、数学、游戏等领域。思路是用能运行的 3D 场景把不同知识连起来,避免只教模型换着法子摆物体。训练对象包括 4B,也包括更小的 LFM2.5-350M。
350M 的结果还不成熟。它明显弱于 Qwen 系列,部分输出很差,长上下文也是问题。但比预期能打。最开始它连完整收尾都做不到,会卡在重复循环里。增加 epoch 后,它开始能完成代码、生成可识别场景,也能处理更复杂的请求。图里有些例子需要手动修一下才能渲染,不同 prompt 之间的进展并不均匀。
更值得注意的是泛化。除了展示出来的房子和农场,这位用户还测了不少其他 prompt,350M 的表现没有只停在几个固定套路上。给出的范围是:中等复杂度代码任务大约 16K token 内有用;专用 4B 模型能处理更复杂的场景,实验中接近 96K token 仍有不错结果。

评论区有人问,prompt 偏离这几类场景后,小模型会不会散掉。作者回复说,试过更多 prompt,泛化还可以,和之前发布的 1.7B、两个 4B 模型类似。现在的问题是部分场景仍然有点乱,尤其是体素场景。训练还在继续。
另一位在 Strix Halo 上跑 35B MoE 的网友提到,窄而重复的任务表现好,原因之一是每个 token 只激活 3B。这个观察和专用小模型有相通的地方。
另一个反复被提到的变量是 epoch。只跑一两轮,会得到完全不同的印象。模型在数据上多过几遍之后还在提升,eval loss 经常不能说明哪个 checkpoint 生成的代码更可用。这位用户因此更看重数据质量和训练时长。其判断是,好数据加上足够训练轮数,可能比通常假设的更能拉开差距。
这位用户还比较了 SFT 和 RL 的成本。他没有说 SFT 比 RL 更好。前提是手里已经有覆盖目标领域的高质量样本,这时监督微调可能用远低于 RL 的训练成本拿到不错结果。制作和验证这些样本本身很贵,花了不少时间。但数据一旦可用,就能复用,训练不同尺寸的模型,跑多组实验,不必搭完整 RL 流程。

硬件部分也挺实在:350M 模型可以在 8GB 显存的 GPU 上做全量微调,不用 LoRA。设置合适、做好内存优化,小数据集和可控上下文长度下,训练可能只要几个小时。上下文更长、数据更大,训练时间会明显上升。
这位用户没有否认 scaling。350M 替代不了大模型,复杂推理和长程依赖都有明显限制。但有个问题值得继续盯:我们说的模型容量上限,有多少其实来自训练方式。很多任务用大模型,可能只是因为还没把小型专用模型推到足够远。
原帖最后说,模型还在训练,结论不能下太早。接下来会发布新模型和数据集,包括扩展后的 3D 数据集。如果 350M 继续变好,达到满意质量,也会放出来。帖子末尾注明,原文先用葡萄牙语写,再用 AI 辅助翻译成英文。
原帖在 r/LocalLLaMA。
发布时间: 2026-11-16 12:13