浙江大学团队提出Latent-to-4D技术,通过L4AR网络将视频生成模型的VAE latent直接转化为动态4D世界几何,绕过RGB解码与重建环节。该方法仅需约1K条已有重建视频完成训练,单个checkpoint可兼容Wan2.1-T2V-14B、1.3B及Wan2.2-I2V-A14B三种共享Wan VAE的视频DiT模型。适用于3D内容制作、VR/AR、具身智能及机器人场景,推理时无需重新训练或适配。
Tags:视频生成模型已经能让人物跳舞、让镜头穿越场景,甚至按照姿态、轨迹和动作指令生成复杂视频。
但这些结果大多仍被“锁”在二维画面里:我们只能沿着模型给定的镜头观看,无法自由转动视角,更难直接用于 3D 内容制作、VR/AR、仿真或具身智能。
来自 ReLER、CCAI、浙江大学 的 Zihao Liu、Xiaolong Shen、Zhenglin Zhou、Ruijie Quan 和 Yi Yang 提出 Beyond Pixels,尝试让视频生成模型越过像素边界,直接生成包含动态几何和相机信息的 4D 世界。
团队提出的 Latent-to-4D 不再把视频 latent 解码成 RGB 后重新做 4D 重建,而是通过核心网络 L4AR,将视频模型最终生成的 latent 直接转化为动态世界坐标几何。
更关键的是:只要不同视频 DiT 共享同一套 VAE 表示规范,同一个 Latent-to-4D checkpoint 就能直接接入不同规模、不同条件形式的视频模型,无需为每个模型重新进行 4D 训练。
效果展示
从文本、图像或其他视频控制条件出发,Beyond Pixels 将视频 latent 转化为可以从新视角观察的动态 4D 场景。
相关链接
论文:Beyond Pixels: From Video Priors to 4D Worlds 项目主页:https://hayd-zju.github.io/Beyond-Pixels/ GitHub:https://github.com/hayd-zju/Beyond-Pixels Hugging Face:https://huggingface.co/papers/2608.10744
论文介绍
一句话概括这项工作:
把视频模型最终去噪的 VAE latent,当作连接视频生成与显式 4D 世界的统一接口。
Latent-to-4D 主要有三个特点:
绕过 RGB: 不再经历“latent 解码成视频—RGB 视频重新编码—4D 重建”的两次表示转换,减少视频伪影向几何结果的传播。 统一适配: 一个 checkpoint 可服务于 Wan2.1-T2V-14B、Wan2.1-T2V-1.3B 和 Wan2.2-I2V-A14B 三种共享 Wan VAE 的视频 DiT。 数据高效: 最终训练阶段仅使用约 1K 条已有重建视频,不需要额外构建大规模生成式 4D 数据集。
为什么不直接生成视频,再重建4D?
目前利用视频生成先验构建 4D 世界,常见方案主要有两种。
第一种是 Generate-then-Reconstruct:先用视频模型生成 RGB 视频,再交给 4D 重建模型恢复动态三维结构。
这种方案方便组合不同模型,但视频生成器和重建模型通常来自不同的数据分布。视频中的闪烁、遮挡、错误形变和局部伪影,经过重建后可能变成孔洞、破碎表面或不稳定的动态几何。
第二种是直接改造某个视频生成模型,让它原生输出深度、点云或 4D 表示。这条路线更直接,却容易把几何能力绑定到某个特定生成器。更换 DiT、参数规模或条件形式后,往往需要重新进行带几何监督的训练。
Latent-to-4D 选择了第三条路:保留视频模型的生成能力,也不经过 RGB,而是在二者之间建立一个共享 latent 接口。
上:先把 latent 解码为 RGB,再交给独立 4D 重建模型;下:Latent-to-4D 通过 L4AR 将最终去噪 latent 直接送入 4D 解码层级。
核心方法:在视频 latent 和 4D latent 之间搭一座桥
不同视频 DiT 可以拥有不同的网络架构、参数量和条件输入,但如果它们共享相同的 VAE checkpoint、latent 归一化、张量布局和压缩方式,它们最终生成的 latent 就处于同一种表示空间。
这个 latent 已经记录了视频中的外观、运动以及上游条件信息,同时又位于 RGB 解码之前,因此成为连接视频生成模型与 4D 解码器的理想位置。
不过,视频 VAE latent 与预训练 4D 模型的 token 在时间分辨率、空间网格和通道维度上并不一致。团队为此设计了 Latent-to-4D Alignment and Refinement(L4AR) 网络。
Latent-to-4D 训练流程。冻结的视频 VAE 负责编码视频,L4AR 完成表示对齐与时空细化,4D Decoder 预测相机和动态世界空间点图。
1. Grid Align 与 3D Conv:先对齐形状
L4AR 首先通过三线性重采样,将视频 latent 调整到 4D 解码器需要的时空网格。
随后,一个可学习的 3D 卷积同时聚合相邻帧和空间邻域的信息,并完成通道投影。这样可以在进入全局推理前,尽量保留局部外观与运动线索。
2. Frame Attention 与 Global Attention:同时理解细节和运动
完成网格对齐还不够,模型还要理解跨帧对应、相机变化和物体运动。
L4AR 交替使用两种注意力:
Frame Attention 在每一帧内部整理空间结构; Global Attention 在所有时间和空间 token 之间交换信息。
前者负责局部几何细节,后者负责跨时间、跨视角的整体一致性。
3. 4D Decoder:输出动态世界空间几何
细化后的 4D latent 被送入预训练 4D 解码层级,预测每一帧的相机、深度和世界空间射线,最终得到统一世界坐标系中的动态点图。
这意味着输出不再只是一段固定镜头的视频,而是可以改变视角观察的动态三维场景。
训练阶段不运行 DiT,推理时直接替换 latent
Latent-to-4D 的训练方式也很巧妙。
训练时,团队用冻结的 Wan VAE 将已有重建视频编码成 latent,并利用这些视频已有的相机和几何标注监督 L4AR。视频生成器、VAE 和预训练 4D 模型中的原始 Transformer 权重均保持冻结,主要训练对齐模块、轻量化 LoRA 更新以及相机和几何预测头。
到了推理阶段,只需把训练时的真实视频 latent,替换为兼容视频 DiT 生成的最终去噪 latent,后面的 L4AR 和 4D Decoder 无需改变。
文本、图像、姿态或轨迹等条件已经被上游视频模型写入 latent,因此 L4AR 不需要额外判断当前执行的是哪一种生成任务。
一个 checkpoint,接入三种视频 DiT
团队使用同一个 Latent-to-4D checkpoint,直接连接:
Wan2.1-T2V-14B; Wan2.1-T2V-1.3B; Wan2.2-I2V-A14B。
这三个模型覆盖了不同参数规模的 Text-to-Video,以及 Image-to-Video 任务,但共享相同的 Wan VAE。
模型切换后无需重新训练 L4AR,也不需要测试时适配。视频 DiT 继续负责“生成什么、怎样运动”,Latent-to-4D 则负责把生成 latent 转成显式 4D 世界。
实验结果:DINO-F1 最高提升 5.81 个点
团队构建了 Text4D-200 和 I4D-200 两个评测集,分别包含 200 个文本条件案例和 200 个图像条件案例。
为了公平比较,Latent-to-4D 与 Wan+4RC 使用完全相同的生成 latent。唯一的区别是:基线先把 latent 解码成 RGB 再重建,而 Latent-to-4D 直接读取这个 latent。
在 Image-to-4D 测试中,Latent-to-4D 在论文报告的全部指标上排名第一。两个不同规模的 Text-to-Video DiT 连接同一个 checkpoint 后,也取得了非常接近的结果。
Text-to-4D 对比。红色虚线框标出了基线中的结构缺失和破碎区域,Latent-to-4D 在多个案例中保留了更完整的主体与场景。
Image-to-4D 对比。测试案例覆盖室内外场景、人物、自然景观和相机运动。
除了自动指标,研究团队还邀请 50 名参与者进行匿名、多视角的人类评估。参与者可以播放动态结果并改变观察视角。
Text-to-4D 的几何与完整度偏好率为 **66.8%**,总体质量偏好率为 **65.7%**; Image-to-4D 的几何与完整度偏好率为 **72.1%**,总体质量偏好率为 **70.6%**。
从 Text/Image-to-4D,到姿态、轨迹与机器人场景
Latent-to-4D 的另一项特点,是能够继承兼容视频模型已有的条件和控制能力。
论文展示了运动控制、外观控制、姿态驱动、角色动画和轨迹控制等案例。对 L4AR 来说,这些条件不需要单独设计新的 4D 分支,因为控制效果已经包含在上游生成 latent 中。
同一个 L4AR checkpoint 继承上游模型的运动、外观、姿态和轨迹控制能力。
研究团队还进一步展示了机器人操作和导航等动作条件场景,包括使用勺子舀取物体、整理衣物、打开收纳箱和关闭柜门等案例。
来自兼容视频 backbone 的动作条件 latent,可以沿同一条路径转化为动态 4D 场景。
局限与未来方向
Latent-to-4D 当前仍有明确的适用边界。
首先,不同视频 DiT 需要共享相同的 VAE checkpoint、归一化方式、tensor layout、压缩规范以及受支持的 latent shape。它并不是在任意两个视频模型之间无条件通用。
其次,论文中的投影 DINO 指标主要衡量从新视角观察时的可见几何一致性与完整性,不能直接等同于度量级 4D 几何精度。
此外,机器人操作、导航和轨迹等结果主要验证接口兼容性,并不意味着模型已经能够保证动作成功或物理正确。
结论
Beyond Pixels 提供了一种新的 4D 生成思路:与其把视频生成结果变回 RGB,再尝试从像素中恢复世界,不如直接读取视频模型已经学到的 latent 表示。
Latent-to-4D 通过 L4AR 将最终去噪 latent 对齐到结构化 4D token,并借助预训练 4D 解码器输出相机与动态世界空间几何。约 1K 条已有重建视频即可完成训练,同一个 checkpoint 能够连接三种共享 Wan VAE 的文本和图像视频 DiT。
随着视频模型不断获得新的运动、姿态、轨迹和交互控制能力,这类共享 latent 接口有望让更多视频生成能力以较低成本进入动态三维世界。
视频生成的终点,或许不只是更逼真的像素,而是一个真正能够被观察、控制和交互的 4D 世界。
本文图片均来自论文及项目主页。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论