Wink Pings

把解码器摘掉:DWD 让扩散模型最后一步直接吐像素

r/StableDiffusion 上的一篇论文分享。DWD 保留原有去噪头不动,只在末尾加一个线性头预测像素,去掉 VAE 解码器,Wan 视频的形变误差降了 23%,ImageNet FID 从 1.55 到 1.43。

潜在扩散模型出图,最后一步总要过一个解码器。去噪在隐空间完成,拿到干净的 latent,再交给 VAE decoder 映射回像素。这一步带来额外的显存和推理开销,也带来一些肉眼可见的副作用:细节被抹平,纹理发糊。

DWD(Decoding Without a Decoder)想做的事很直接,把这个解码器拿掉,让扩散 Transformer 自己输出像素。

DWD 效果对比

关键在于它没让原来的去噪头改行。DWD 把两个角色拆开:原去噪头继续负责采样轨迹,一步不落;新增一个线性头,只在最后一步预测像素。训练时只微调最后几个 transformer block,DWD 头用像素质量损失来训,去噪头锚定在预训练权重上,保证采样路径不漂。

好处是省。解码器没了,推理成本降下来,画质不降反升。在 Wan 视频生成上,它明显减轻了细节扭曲和闪烁,形变误差(warping error)降低 23%。做 i2v 的人对这点应该不陌生,首帧图丢进去,出来的人脸和材质常带一层塑料感。帖子下面有人专门提到,论文末尾的对比里这种过度平滑被压下去不少。

更有意思的是它对像素扩散模型也有效。这类模型本来就不用解码器,理论上没有可省的东西。研究者把同样的拆分搬过去,在最后一步加一个 DWD 头,文生图的纹理细节明显变好,ImageNet 上 FID 从 1.55 降到 1.43,作者称这是像素流模型里的新 SOTA。

这多少说明,最后一步的像素预测本身就是一件独立的活儿,跟去噪采样挤在同一个头里,未必是最优解。

社区的反应挺实际。有人指出降低算力需求这点很好,最高赞的追问只有一句:Comfy when。下面有人附和。一项技术能不能真正落地,往往就看这一步。

跟帖配图

项目主页:https://hanshengchen.com/dwd/

论文:https://arxiv.org/abs/2611.22287

发布时间: 2026-11-19 01:39