Wink Pings

一张图生成64³体素模型,JoVox把多级生成塞进一个网络

JoVox用离散流匹配框架从单张图片生成64³体素结构,一个模型搞定4³到64³三个层级,论文、代码和项目页均已公开。

Reddit 的 LocalLLaMA 版块有人贴出了一个叫 JoVox 的项目,做的是图像到 3D 的体素生成。作者是 xiangjuntang,发布在 Hugging Face 上,配套的论文、代码和项目页都能直接打开。

JoVox 效果图

项目的全称是 JoVox: Joint Hierarchical Flow Matching for Lightweight Voxel Generation。核心是一个离散流匹配框架,学习体素在不同分辨率上的联合层次分布,同时把生成过程控制在轻量级。

具体来说,它从一张输入图像出发,先生成 4³ 的粗体素结构,再逐步细化到 16³,最后到 64³。关键在于这三个层级由同一个模型完成,不需要为每个分辨率单独训练一个网络。论文里把这种做法描述为学习体素的联合层次分布,生成时沿着层级逐级推进。

对体素生成感兴趣的人应该知道,这条路线过去常见的问题是分辨率一上去计算量就失控,或者多个阶段之间出现结构不一致。JoVox 选择用流匹配来做离散体素,并且把层级拆开又用同一个模型串起来,算是一种折中方案。

资源都在这里:

项目页上有截图和 benchmark,想比较效果的话可以直接去看。原帖发在 r/LocalLLaMA,作者 pmttyji,目前 28 个赞,讨论还不算多。

发布时间: 2026-11-10 19:41