删掉不到0.05%的权重，能追上全量微调？

r/LocalLLaMA 上有个帖子在讨论一篇 NeurIPS 2026 论文，标题叫 The Surprising Effectiveness of Deleting Weights in LLM Post-Training。作者 Thrumpwart 贴出的结论很直接：在后训练阶段，把预训练大模型不到 0.05% 的权重置零，其他都不改，就能在三种流程里追上全量微调，包括带可验证奖励的强化学习、监督微调和 on-policy 蒸馏。方法叫 Deletion Tuning，学的是 transformer block 里 gate projection 上的二值掩码。

两个实际好处：训练出的掩码比对应的 FFT checkpoint 小几百到几千倍；持续学习里遗忘更少。帖子说，在强化学习下，Deletion Tuning 的旧任务准确率接近基座，FFT、LoRA 和随机稀疏微调最多掉 5.4 个点。论文还用 stable rank、spectrum drift 和 principal-weight overlap 看强化学习下权重变化的几何形状，Deletion Tuning 在这三项上最接近 FFT。

跟帖里 Thalesian 觉得这方法对训练影响更大，推理未必直接受益。ttkciar 的理解是，它找出那些让次优推理路径压过更优路径的权重，置零后让更优路径成为首选；他觉得定位权重的办法很省资源，建议做成 Heretic 的功能，还 @ 了 u/-p-e-w。indicava 把这篇和另外两项工作放在一起看，认为社区在往 weight-level programming 走，提到 Claude 编辑小 Qwen 模型权重，以及前几天的 Reddit neuron 帖子。LelouchZer12 问这是不是重新发现 Lottery Ticket Hypothesis，ttkciar 回说论文明确比较了二者，推荐读原文。

链接在跟帖里：

• GitHub：https://github.com/agentic-learning-ai-lab/deleting-weights
• HuggingFace：https://huggingface.co/Jacklu0831/deletion-tuning-masks
• 项目页：https://agenticlearning.ai/deleting-weights/
• Poster：https://cdn.agenticlearning.ai/dfb9bf24cee86b6d/neurips2026-poster-deleting-weights.pdf

这条路线值得看的地方在训练成本和持续学习，不在推理加速。名字像把模型删坏，实际是学一个很小的掩码。论文和代码都放出来了，复现门槛看起来不高。