删掉0.05%的权重，LLM后训练追平全量微调

NeurIPS 2026 的论文 The Surprising Effectiveness of Deleting Weights in LLM Post-Training 给了一个反直觉结果：把预训练 LLM 里不到 0.05% 的权重清零，不写入新值，也能在 GRPO、SFT、SDFT 三种后训练里追平全量微调。论文作者来自 NYU 的 Agentic Learning AI Lab 和 University of Calgary，Jack Lu、Zhenbang Yang 为共同一作。

结果先看规模。论文在 GRPO、SFT 和 on-policy 自蒸馏 SDFT 上测试，覆盖 Llama 1B 到 8B、Qwen 0.5B 到 14B，以及 Qwen3-30B-A3B 混合专家模型。删除比例低于 0.05%，在 7B 到 30B 的稠密和 MoE 模型上追平全量微调。适配器大小对比很直接：Llama1B 的 mask 1.0 MB，全量微调 checkpoint 4714 MB；Llama8B 是 8.4 MB 对 30633 MB；Qwen3-30B-A3B 是 29.6 MB 对 116471 MB。推文里说 30B MoE 的 61 GB 模型只需要学一个 30 MB 二值 mask，量级对得上。

具体数字也够硬。GRPO 数学任务上，Deletion Tuning 在 Llama8B 的 GSM8K 准确率 83.55，全量微调 83.24；Qwen7B 的 SimpleRL-Zoo 平均 52.32，全量微调 51.89；Qwen14B 是 55.43 对 54.87；Qwen3-30B-A3B 是 58.54 对 58.43。小模型上它恢复全量微调 90% 到 99% 的准确率，差距随规模缩小。

忘记少是另一个卖点。GRPO 训练 GSM8K 时，Deletion Tuning 在 HellaSwag、MMLU、TruthfulQA、WinoGrande、IFEval、HumanEval 六个旧任务上的平均准确率保持在 base 模型一个点以内；全量微调落到 base 以下 1.3 到 3.1 点，LoRA 和随机稀疏微调 MTH 最多掉 5.4 点。论文还跟踪到 base 策略的 forward KL，Deletion Tuning 保持在 0.05 或以下，全量微调在 Llama1B 到 1.0、Llama8B 到 1.5。对连续学习来说，这个信号比单纯刷一个任务准确率更值得看。

方法不只在 RL 上成立。SFT 下，Llama3B 在 MMLU-Pro 上 22.28，对全量微调 21.19；BBEH 上 11.39，与全量微调持平。SDFT 下，Qwen7B 在 ToolAlpaca 工具使用上 69.07，对 68.04；Science 上 70.61，对 71.20。三种后训练目标里，删除掩码都能打。

背景补齐一下。全量微调会更新大量预训练权重，LoRA 学一个低秩增量，随机稀疏微调训练事先选好的权重子集。Deletion Tuning 走另一条路：预训练权重全部冻结，只给 Transformer 块门投影的每个权重配一个可训练 logit。训练时用 sigmoid 软掩码乘权重，随着训练把 sigmoid 退火成零点的阶跃函数。部署时，logit 为正的权重保留，logit 为负的权重置零。整个适配器就是每个权重一位：保留或删除。初始化来自 Wanda 剪枝分数，不设稀疏目标，训练自己决定删多少。

pass@k 也有意思。Llama8B 和 Qwen7B 上，base 模型即使采样 128 次，仍比 Deletion Tuning 低 4.3 和 6.1 个百分点。也就是说，删除权重不只是把 base 模型已有能力磨尖，还能解出 base 模型多次尝试都错的问题。

为什么只删权重就够？论文比较了更新几何。用 stable rank、spectrum drift、principal-weight overlap 三个指标看 RL 后的权重变化，Deletion Tuning 最接近全量微调：spectrum drift 在 FFT 的 1.4 倍以内，principal-weight overlap 为 0.43 到 0.46，全量微调为 0.41 到 0.46；LoRA 接近随机基线 0.5，MTH 基本停在随机水平。LoRA 限制了更新秩，MTH 在训练前随机选权重，Deletion Tuning 自由学习改哪些权重，这解释了它为何能贴近全量微调的更新。

讨论里有几个值得追的点。有网友问多个删除 mask 能否组合，作者回复初步实验把各 mask 的删除取并集，每个任务准确率和旧任务都保持得不错，但只在少量任务上试过，后面会试顺序训练一个 mask。量化方面，作者说删除只把权重置零，FP8 和 INT4 都能精确表示，mask 可以叠在量化 checkpoint 上，但准确率是否完全保留还没测。还有研究者指出，这和 AISTATS 论文 FineGates 的思路相近，FineGates 通过稀疏化原始矩阵的行和列适配新任务，在部分情况下还能减小模型和降低延迟。这些都需要更多对比。

论文、项目页、代码和训练好的 mask 都已公开：
论文: https://arxiv.org/abs/2611.10866
项目页: https://agenticlearning.ai/deleting-weights/
代码: https://github.com/agentic-learning-ai-lab/deleting-weights
Mask: https://huggingface.co/Jacklu0831/deletion-tuning-masks
FineGates 论文: https://openreview.net/pdf?id=jU4ERfrjpH
FineGates 代码: https://github.com/jsvir/FineGates