27B模型能在24GB显卡上训练了，但先别急着扔掉LoRA

Reddit的LocalLLaMA版块有个帖子，作者oguzeldereli说他把训练显存降到了每权重1字节甚至更少。按他的说法，27B模型能在单张24GB的3090上训练，23B模型能在16GB显卡上跑。这个数字值得停一下：AdamW训练通常要按每权重约16字节算显存，他盯的是ternary网络，也就是权重取-1、0、1的那种。BitNet此前证明这类网络在大规模下能追上全精度质量，但训练时仍保留全精度权重，显存没省下来。作者把这块开销压到约1.6 bits/weight，27B训练后约6GB，比16bit小10倍，比Q8小5倍。

他还做了现有模型的转换和继续训练。Qwen3.8 27B转换后发布的文件带adapter约2GB，总大小8GB。GSM8K得分0.895，和全精度持平；HumanEval 0.84，全精度0.93。在12GB笔记本4080上约23 tok/s（原文写作23 tok/s）。另一个Qwen Flash Next被压到40.4GB，含8GB的n-gram表，GSM8K基本持平，HumanEval略低，事实记忆明显变差。作者自己也说，这些模型有时会循环，记事实能力差，他正在修。

评论区第一个问题很直接：LoRA已经很好用，这个方案优势在哪？作者回应，LoRA只能作用在float模型上，没法改ternary模型的权重，改了就不是ternary了。有网友补了一句，如果只是日常微调，LoRA更便宜、能合并、不用起完整训练器；这个方案更适合从零预训练一个领域模型，或者继续训练一个ternary模型。作者也承认，主要好处是“能继续训练”，下载unsloth的Q1量化版只能推理，不能接着训。

兼容性方面，作者说推理不必须Ampere，V100 32GB可以跑，但训练不行，训练代码假设BF16 autocast和int8 tensor-core GEMM。MoE模型也支持，Qwen Flash Next的GGUF已经放出。代码开源，非商用，三个仓库分别管训练、转换和运行。作者还在做无adapter版本，并说Qwen 4 27B发布后会转换。

有个细节挺有意思：评论区两条跟帖被Stylome标成AI生成，其中一条是作者用agent代答的V100兼容性问题。工具判断工具，多少有点黑色幽默。

能训和训得好之间，还隔着几百亿token和一堆工程活。但这个方向至少说明，消费级显卡在训练链路上不是完全没位置。