Wink Pings

配对视频太贵,C2R# 用图像对造伪数据

把粗糙3D和动漫视频转成实拍质感,通常要大量配对视频。C2R# 换成图像对来合成伪配对数据,已在 Roblox RDC 使用。评论区有人质疑伪数据质量,也有人催开源。

C2R# 要解决的是配对视频太贵的问题。去年公开的 C2R 用视频生成模型把粗糙 3D blockout 转成照片级真实视频。放进游戏引擎,问题变成稳定可控。Yi Zhou 在推文里提到,连 Seedance 2.5 这样的模型也常要多次尝试。真实应用需要大量配对粗模视频和真实视频,收集成本高。

C2R# 的做法是换数据入口。先训练一个轻量 Real-to-Coarse 模型,只用图像对。把它逐帧应用到真实视频上,合成伪粗模视频,得到大量伪配对视频。再用这些数据训练大型 Coarse-to-Real 视频生成模型。整个流程不需要真实配对粗模视频和真实视频。

这套技术已经用在 Roblox RDC。它也能处理动漫风格视频,前提是有 10K 图像对。

视频里能直接看到对比:左侧是 Game Input 和 Game C2R# Result,右侧是 Anime Input 和 Anime C2R# Result。游戏场景、室内舞蹈、动画角色都被拉到更接近实拍的质感。

项目页:https://gonzalognogales.github.io/coarse2real-sharp/

论文:https://arxiv.org/abs/2610.28954

原推:https://x.com/Papagina_Yi/status/2116710992155717699

评论区里,有网友认为如果数据集里的真实图像只采用真实图,合成数据只用于配对,质量会更好。这个质疑正好指向方法核心:伪配对视频的分布能否覆盖真实粗模和真实视频之间的差异。还有网友问模型或数据什么时候发布,原帖没有给出时间。

C2R# 的看点落在数据生产管线。用图像对造视频训练数据,成本结构变了。风险也在这里,伪配对分布一旦偏,模型会学偏。效果之外,评论区那句关于数据质量的质疑更值得继续看。

发布时间: 2026-11-01 17:29