浙江大学团队提出Latent-to-4D技术,直接读取视频模型去噪后的VAE latent,跳过RGB解码与重新编码环节,通过L4AR网络对齐到4D token空间,最终输出相机参数与动态世界坐标点图。约1000条已有重建视频即可完成训练,一个checkpoint适配Wan2.1 T2V 14B、1.3B及Wan2.2 I2V三种不同规模的DiT模型,DINO-F1指标最高提升5.81个点。适用于研究者和开发者理解视频生成到4D几何的接口方案。
Tags:👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future
作者: Zihao Liu、Xiaolong Shen、Zhenglin Zhou、Ruijie Quan、Yi Yang机构: ReLER, CCAI, Zhejiang University论文:Beyond Pixels: From Video Priors to 4D Worlds项目主页:https://hayd-zju.github.io/Beyond-Pixels/GitHub:https://github.com/hayd-zju/Beyond-PixelsHugging Face:https://huggingface.co/papers/2608.10744
视频生成模型已经可以按照文本、图像、姿态甚至轨迹生成复杂运动,但这些能力通常在输出 RGB 视频后便戛然而止。画面中的世界看起来会动,却不能被自由观察;模型似乎理解了空间,却没有交付显式的动态三维结构。
从视频走向 4D,主流方案往往要经过一个 RGB“中转站”:先将视频 DiT 生成的 latent 解码成像素,再交给独立的 4D 重建模型恢复相机与几何。这个流程模块化程度高,却会让生成误差和分布差异沿着像素接口传入几何结果。
浙江大学团队提出的 Latent-to-4D 选择跳过这次中转。它直接读取视频模型完成去噪后的 VAE latent,通过 Latent-to-4D Alignment and Refinement(L4AR) 网络,将其对齐到预训练 4D 解码器的 token 空间,最终输出相机和动态世界坐标点图。
只要视频 DiT 遵循相同的 VAE 表示协议,一个 L4AR checkpoint 就可以连接不同规模、不同条件形式的视频生成模型,而不需要逐个重新训练 4D 分支。
Beyond Pixels 从文本、图像及多类视频控制信号出发,将生成 latent 转化为可从新视角观察的动态 4D 场景。
亮点直击
1. 系统提出 direct latent-to-4D generation
以往两阶段方法把 RGB 当成视频生成器和 4D 重建器之间的接口。Latent-to-4D 则把接口向前移动到 VAE latent:视频模型完成去噪后,不必先生成 RGB 几何输入,L4AR 直接从最终 latent 预测显式 4D 结构。
这不是简单地“少跑一次 VAE Decoder”。更重要的是,模型不再要求一个只在有限重建数据上训练的 RGB Encoder,重新解释开放域生成视频中的内容与伪影。
2. 一个 checkpoint 适配三种共享 Wan VAE 的 DiT
论文使用同一个 Latent-to-4D checkpoint,分别连接 Wan2.1-T2V-14B、Wan2.1-T2V-1.3B 和 Wan2.2-I2V-A14B。
三者的 DiT 参数规模和条件形式并不相同,但共享同一个 Wan VAE。切换模型时,L4AR 不需要重新训练,也不使用测试时适配。
3. 约 1K 条已有重建视频即可完成训练
模型没有依赖新采集的大规模生成式 4D 数据。最终训练阶段使用约 1K 条已有重建视频,并复用预训练 4D 重建器中的几何先验。
视频生成器、VAE 和原始 Transformer 权重保持冻结,训练集中在表示对齐、轻量 LoRA 更新以及相机和几何预测头上。
4. 同 latent 公平对比,DINO-F1 最高提升 5.81 个点
Latent-to-4D 与 Wan+4RC 基线读取同一个生成 latent,区别仅在于是否经过 RGB 解码与重新编码。在 Text4D-200 上,DINO-F1 提升 2.88–3.45 个点;在 I4D-200 上提升 5.81 个点。
5. 上游控制能力可以沿同一接口进入 4D
除 Text-to-4D 和 Image-to-4D 外,论文还展示了运动、外观、姿态、角色动画、轨迹、机器人操作与导航等结果。L4AR 不需要为每类条件增加独立任务分支,因为条件效果已经包含在最终生成 latent 中。
总结速览
如果把整个框架压缩成一行,就是:
视频 DiT 负责在统一 VAE 空间中生成内容与运动,L4AR 负责将最终 latent 翻译成 4D token,预训练 4D Decoder 负责输出显式几何。
方法
1. 为什么 RGB 接口可能不是最优选择?
设视频模型最终完成去噪后得到 latent。传统 generate-then-reconstruct 流程先调用 VAE Decoder,将 latent 还原为一组 RGB 帧,再由独立的重建模型编码这些帧并预测 4D 场景。
这里至少存在两个潜在问题。
第一,生成域与重建域并不天然匹配。现代视频模型在大规模开放视频上获得了丰富的外观和运动先验,而 4D 重建器往往只能使用规模较小、拍摄条件更受控的数据训练。生成内容越开放,重建器遇到分布外输入的概率越高。
第二,像素错误会继续进入几何计算。视频中的纹理漂移、遮挡错误、闪烁或形变,在二维观看时可能尚可接受;一旦被重建器解释为深度和相机线索,就可能形成跨视角不一致、结构缺失或时间抖动。
集成式 4D 生成方法试图让某个视频模型直接预测几何,但这样又容易将几何监督绑定到一个固定 backbone 或 conditioning regime。换用新的生成器或控制方式时,通常要再次训练。
Latent-to-4D 的目标不是在这两条路线之间折中,而是重新定义接口:
不把 RGB 作为必经的模型间通信格式,直接学习从视频 VAE latent 到结构化 4D token 的映射。
上方流程通过 RGB 连接视频模型和重建模型;下方流程在最终去噪 latent 处接入 L4AR,随后直接进行 4D 解码。
2. 共享 VAE 如何成为“接口协议”?
对任意条件输入,视频 DiT 最终都要生成一个能够被 VAE Decoder 识别的 latent。不同 DiT 即使网络结构不同,只要共享相同 VAE,其输出便必须遵循同样的缩放、通道组织、时空压缩和张量布局。
论文利用的正是这层约束。
训练时,真实视频经过冻结 VAE Encoder 得到 observed-video latent;生成时,兼容 DiT 从条件和噪声出发得到 generated latent。两者来源不同,分布也不必完全一致,但都遵循同一个 VAE 表示约定。
因此,Latent-to-4D 可以在训练阶段学习前者到 4D 的映射,在推理阶段将输入替换成后者,而保持下游网络完全不变。
兼容性并不只由“使用同一品牌的 VAE”决定。论文明确要求以下要素一致:
VAE checkpoint; latent normalization; tensor layout; compression convention; Latent-to-4D 支持的 latent shape。
满足这些条件后,DiT backbone 和上游 conditioning regime 可以不同。这也是方法能够同时覆盖两个 Text-to-Video 模型和一个 Image-to-Video 模型的基础。
3. L4AR:Alignment 解决“尺寸不同”,Refinement 解决“语义不通”
共享 VAE 只保证多个视频 DiT 的 latent 彼此兼容,却不代表这个 latent 能被 4D Decoder 直接读取。
视频 latent 与预训练 4D token 在时间分辨率、空间网格和特征宽度上都不相同。L4AR 因此将跨表示映射拆成 Alignment 与 Refinement 两个阶段。
L4AR 先完成网格与通道对齐,再通过帧内和全局注意力建立空间细节及跨帧对应,最终把 4D latent 交给预训练解码器。
Grid Alignment:统一时空采样位置
系统首先使用固定的三线性重采样,将输入 latent 调整到 4D 层级所要求的时间长度和空间 token 网格。
这个步骤不学习几何,只负责让两个表示在索引结构上对齐。论文的消融结果显示,即便是不含参数的网格对齐也很重要:完全移除它会破坏后续 token 与空间位置之间的对应关系。
3D Convolution:在局部时空邻域内完成投影
重采样后,一个可学习的 3D 卷积将视频 latent 的通道维度映射到 4D token 宽度,并同时整合相邻空间位置和时间片段。
如果仅做逐位置的线性变换,模型难以利用运动连续性和局部结构。3D 卷积提供了跨时间的局部感受野,为后续全局推理准备更稳定的初始 token。
Frame-wise Attention:先建立每一帧的空间结构
对齐后的 token 会先按帧进行自注意力。每个时间步内部的所有空间 token 相互通信,从而整合物体轮廓、局部表面和帧内结构。
这种设计避免模型一开始就在超长的全局序列上同时处理所有问题,有助于先形成稳定的单帧几何表示。
Global Spatiotemporal Attention:连接跨帧运动和视角变化
随后,全局注意力会将所有时间与空间 token 放在同一个序列中,传播物体对应、相机运动与时间变化信息。
L4AR 不是只使用一次局部、一次全局注意力,而是在预训练 4D 层级中交替组织两种作用域,并汇集多个深度的中间特征。这样既保留高分辨率空间细节,也提供序列级上下文。
4. 4D Decoder 输出什么?
Refinement 得到的多层特征被送入 4D Decoder。
对于每一帧和每个像素位置,几何预测头输出深度、世界空间射线原点、射线方向及相应置信度;相机预测头则给出包含位姿和视场角的相机参数。
世界坐标点由“射线原点 + 深度 × 射线方向”恢复。所有帧的点图位于同一个世界坐标系中,因此可以与预测相机一起支持新视角观察。
训练损失同时覆盖:
置信度加权的深度、深度梯度与世界射线误差; 相机平移、旋转和视场角; 度量深度、世界点误差以及表面法线。
5. 训练和生成阶段如何衔接?
训练阶段,冻结 VAE 编码带有 4D 标注的真实视频,L4AR 学习将 observed-video latent 转为相机和几何。此时不执行视频 DiT,也不对视频模型进行反向传播。
推理阶段,系统从兼容 DiT 取得最终去噪 latent,直接替换训练时的 observed-video latent。Alignment、Refinement 与 4D Decoder 全部原样复用。
因为文本、图像、姿态或轨迹条件已经被 DiT 编入 generated latent,L4AR 不需要 task ID,也没有 condition-specific 4D branch。
实验
1. 评测设置:不仅看原视角,还要从侧面检查结构
论文建立了两个锁定的生成 latent 评测集:
Text4D-200: 200 个文本条件 4D 生成案例; I4D-200: 200 个图像条件 4D 生成案例。
每种方法都需要完成全部案例。研究团队从两个偏离原始输入相机的视角渲染预测点序列,并报告 Text CLIP、RGB-reference CLIP-I、DINO global similarity、valid-patch DINO matching 与 DINO set F1。
这些指标试图检查新视角下可见内容的完整性和一致性,而不仅是原始视频视角中的外观相似度。生成 RGB 只用于结果着色和评测参考,不作为 Latent-to-4D 的几何输入。
需要强调的是,off-axis DINO 属于依赖外观的几何代理指标,并不等同于度量级 4D 精度。因此,论文同时引入多视角人类评估和带真实几何的诊断实验。
2. Same-latent 对比:控制视频内容,只改变 4D 接口
最关键的对照组是 Wan+4RC。
对于每个案例,Latent-to-4D 和 Wan+4RC 使用同一个最终生成 latent:前者直接执行 latent-to-4D,后者先经过 Wan VAE Decoder 得到 RGB,再由 4RC 重建。
这项设置尽可能排除了“视频生成样本不同”带来的波动,将比较集中在接口本身。
在 Text4D-200 上,两个 DiT 对应的 DINO-F1 分别提升 3.45 和 2.88 个点。同一个 checkpoint 在 14B 与 1.3B DiT 上得到接近的最终得分,也说明 L4AR 并未只适应某个固定规模的生成器。
Image-to-4D 的提升更加明显:
Latent-to-4D 在 I4D-200 的全部报告指标上排名第一,其中 DINO-F1 相对 same-latent Wan+4RC 提升 5.81 个点。
论文也保留了不占优的结果:在 Text-to-4D 的所有被测方法中,CogVideoX-5B+4RC 仍取得最高 RGB-reference CLIP-I。因此,该工作主张的是结构相关指标和多视角质量的稳定提升,而不是在每一个外观指标上全面领先。
3. 定性结果:洞、断面和缺失结构是否减少?
Text-to-4D 的案例覆盖复古漫画人物、火与水元素、晾晒衣物和随风摆动的植物等内容。
在其他重建结果中,背景支撑面、细长物体和局部表面更容易出现大面积缺失。Latent-to-4D 的点图保留了更完整的主体范围和周围结构。
红色虚线框标出不同 RGB 重建基线中的缺失、孔洞或破碎区域。最右侧为 Latent-to-4D。
Image-to-4D 则包含室内瀑布、田野人物、山间建筑与人像转头等场景,同时考察主体运动和相机运动。
从左至右依次为输入条件、4RC、π³、Any4D 与 Latent-to-4D。
4. 人类评估:多视角查看后,偏好是否仍然成立?
50 名参与者对两个 benchmark 中各 50 个抽样案例进行了随机、匿名的成对比较。每个案例获得 10 次评分。
评估者不仅可以播放时间变化,还可以主动查看多个视角,随后从条件一致性、几何与完整度、时间稳定性和总体质量四个方面做出选择。
所有区间均高于 50%,其中几何与完整度的偏好最突出。该结果与 off-axis DINO 的提升方向一致,但仍然属于感知质量判断,而不是度量几何测量。
5. 消融实验:L4AR 中哪些组件真正有用?
论文在 7-Scenes 和 NRGBD 两个带真实几何的数据集上进行组件消融,报告 Accuracy、Completeness 和 Normal Consistency。
完整模型在 7-Scenes 上达到 Acc 3.121 cm、Comp 5.418 cm、NC 0.628;移除 3D Conv 后,Acc 和 Comp 分别恶化到 6.944 cm 和 15.806 cm。移除 Frame Attention 时,Completeness 进一步下降到 20.806 cm;移除 Global Attention 后则为 19.742 cm。
NRGBD 上趋势相同:完整模型为 Acc 5.202 cm、Comp 8.187 cm、NC 0.766;去掉 Frame 或 Global Attention 后,Completeness 分别上升到 36.982 cm 和 36.207 cm,表明仅有局部网格投影不足以恢复稳定的跨帧结构。
这些结果分别支持了三个设计判断:
Grid Alignment 负责建立正确的 token 位置关系; 3D Conv 负责在投影前聚合局部时空证据; Frame 与 Global Attention 分别承担帧内结构和跨帧对应。
6. DiT residual 诊断:为何 RGB 路径更容易放大扰动?
为了进一步研究生成 latent 与真实视频 latent 之间的差异,论文构造了一项 near-terminal DiT residual 诊断。
研究者提取接近去噪终点的 residual 分量,将其投影到 Grid-Align 的 width-null space,再以相同强度加入两条待比较路径。该实验隔离的是一个受控的 DiT-derived residual,而不是任意人工噪声。
在 30 组比较中,Latent-to-4D 全部表现更稳定。当扰动系数为 0.6 时,7-Scenes/NRGBD 上的点图漂移分别为 0.0053/0.0047,而 RGB 重建基线为 0.3827/0.3160。
这项诊断没有证明 Latent-to-4D 能抵抗所有生成错误,但说明在所构造的近终点 latent 残差下,直接 latent 路径不会像 RGB 解码—重建链路那样显著放大几何和相机漂移。
7. 更多条件:同一 L4AR 能否承接新的生成玩法?
论文进一步连接了带有运动、外观、姿态和轨迹控制的兼容生成 backbone。
这些任务没有额外的 4D task token,也没有重新训练专用分支。对于 L4AR 而言,上游条件已经被落实为 latent 中的内容与运动变化。
示例包括滑板运动、外观编辑、姿态驱动角色动画与轨迹控制。
动作条件实验还覆盖机器人抓取与放置、使用工具、打开容器和导航等场景。
机器人操作和导航 latent 经同一个 L4AR checkpoint 转化为动态 4D 点图。
这里需要区分“支持某种条件”与“完成某个现实任务”。这些结果证明的是接口能够继承条件变化,并不等同于机器人动作已经满足成功率、碰撞约束或物理正确性。
结论
Beyond Pixels 关注的不是再训练一个更大的 4D 生成器,而是重新思考视频生成模型与 4D 几何之间应该如何连接。
过去,RGB 几乎是视觉模型之间默认的通用格式。它易于查看、存储和组合,但对于刚刚完成去噪的视频模型而言,先把 latent 解码成像素,再让另一个网络从像素重新推断结构,未必是信息利用效率最高的方式。
Latent-to-4D 将最终去噪 VAE latent 提升为一等接口:
Alignment Module 统一视频 latent 与 4D token 的网格和通道; Frame-wise 与 Global Attention 补充帧内几何和全局时空对应; 预训练 4D Decoder 输出相机和动态世界坐标点图; 共享同一 VAE 规范的 DiT 可以复用同一个 4D checkpoint。
从结果来看,直接 latent 路径在 same-latent 条件下获得更高的投影 DINO-F1,也在多视角人类评价中得到更高偏好。约 1K 条已有重建视频支撑了三个兼容 DiT 的迁移,说明几何监督可以从特定生成器中解耦出来,在共同 VAE 边界内被重复利用。
当然,这种统一仍有清晰边界。当前证据建立在共享 VAE convention 上,尚未覆盖任意不同 VAE 之间的跨空间连接;投影指标和主观评价主要反映可见结构的一致性、完整性与稳定性,不能替代生成场景的度量级 4D 评测;动作控制案例也不能直接证明物理正确或真实机器人执行成功。
进一步看,这项工作打开了几个值得继续探索的方向:如何跨越不同 VAE 空间建立更加通用的 adapter,如何把点图接口扩展到可编辑、可渲染的动态场景表示,以及如何为生成式 4D 建立兼顾外观、几何、运动和物理一致性的统一评测。
视频模型的能力还在快速增长。新的 DiT 会继续获得更强的角色控制、相机控制、轨迹控制和世界动作生成能力。如果这些模型选择兼容的 latent 协议,那么 4D 能力也许不必被逐个重新发明。
一个共享的 latent 接口,就可能成为多种视频生成能力通往 4D 世界的共同出口。
本文图片均来自论文与项目主页。
技术交流社区免费开放
涉及 内容生成/理解(图像、视频、语音、文本、3D/4D等)、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累,方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者,解决从理论到实战中遇到的具体问题。倡导深度讨论,确保每个提问都能得到认真对待。
技术交流
加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!
没有评论:
发表评论