Wink Pings

ControlNet 正在退场,但精确控制还没找到新家

Reddit 上有人问 ControlNet 是不是过时了。新 DiT 模型不训练它,编辑模型和参考图正在接管。但用户对姿势、线稿、深度控制的刚需,并没有消失。

Reddit 的 r/StableDiffusion 上,Manicarus 发了一个问题:ControlNet 是不是已经过时了。他一直在用 Illustrious,也喜欢 ControlNet。但新出的 Anima、Krea2、MOSS 这些 DiT 模型,开发者似乎没兴趣训练 ControlNet。他等了一段时间,开始怀疑:是不是有别的模型或工作流,已经能完全替代 ControlNet。

ControlNet 在 SD1.5 和 SDXL 时代很具体:把 OpenPose、线稿、深度图这类条件喂给模型,约束生成结果。它像一个外挂控制层,能调强度,能做遮罩,能把构图锁住。对做实际项目的人来说,这东西不酷,但有用。

跟帖里没人给出统一答案,分歧倒是很具体。

有人提到 Qwen 2.1 有 ControlNet Union,能跑,但效果不够稳定。要用拆分采样器,先上 ControlNet,再跟一个不带 ControlNet 的采样器,避免最终画面被弄坏,额外开销也明显。另一位用户直说 Qwen 的 ControlNet 很差,宁愿用两张参考图,加非常具体的提示词,比如明确告诉模型第一张图只提供姿势,第二张图提供视觉内容。他还补了一句,Illustrious XL 的 ControlNet 仍然很好用。

编辑模型被反复提到。有用户认为 Kontext 是转折点,Qwen-Image-Edit 和 Flux.2 改变了玩法。一个图像模型如果缺少原生编辑能力,会处在明显劣势。这个判断往下推,问题就变成:训练角色 LoRA 或风格 LoRA 时,还有没有必要绑在某个新基座上。就算别的模型某项能力更强,也可以把它当作参考图拉进来。

参考图、参考视频也在接管一部分工作。有人把 reference video 叫成新的 ControlNet,认为参考视频生成比 ControlNet 更有表现力。用 Qwen 2.1 时,把姿势、canny、depth、hed 图放进第二张参考图,再用提示词要求替换第一张图里人物的姿势,最后拿输出做 i2i,省掉额外处理。这个流程依赖模型理解提示词,但确实少了一层节点。

旧 ControlNet 的精度仍然被怀念。SD1.5 时代 OpenPose 和 LineArt 的复现能力,现在没有完全对等的东西。强度控制和遮罩控制也不完整。LLLite LoRA 有人试过,觉得不够用。有人愿意为 OpenPose、LineArt 级别的复现能力付钱,因为做技术工作时,靠提示词赌结果不够。

也有折中方案。MOSS 的深度图控制在复杂姿势上表现更好,ComfyUI 有内置节点。Hugging Face 上还有 MOSS 的姿势 ControlNet LoRA,但需要读 README,配合提示词使用。DiT 模型更听 prompt,这既是进步,也意味着旧式控制要换一种写法。另一个项目 ReferenceLatentPlus 给参考 latent 加上强度和遮罩控制,思路接近旧 ControlNet 的可调性。

这串讨论里,ControlNet 这个词可能会淡出。需求没有消失:用户还是想把姿势、线稿、景深、构图锁住。变化的是实现方式,从单独训练的控制分支,转进编辑模型、参考图、条件 latent,以及更依赖提示词的流程。

对普通用户,工作流变短了,模型自己多懂一点,少连几个节点。对技术用户,失去的是显式控制和可复现性。旧 ControlNet 不完美,但它把控制权放在一个可调节点里。新方案把控制揉进模型,方便,却不容易知道哪一步在起作用。

所以说 ControlNet 彻底过时,太早。说它还会以原来的样子回来,也不乐观。更可能的情况是,ControlNet 的能力被拆开,塞进编辑模型和参考图流程里。名字消失,问题还在。

参考链接:

发布时间: 2026-11-10 21:41