2026年8月17日星期一

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

浙江大学团队提出Latent-to-4D技术,直接读取视频模型去噪后的VAE latent,跳过RGB解码与重新编码环节,通过L4AR网络对齐到4D token空间,最终输出相机参数与动态世界坐标点图。约1000条已有重建视频即可完成训练,一个checkpoint适配Wan2.1 T2V 14B、1.3B及Wan2.2 I2V三种不同规模的DiT模型,DINO-F1指标最高提升5.81个点。适用于研究者和开发者理解视频生成到4D几何的接口方案。

Tags:
点击下方卡片,关注“AI生成未来”

👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

解读:AI生成未来

作者: Zihao Liu、Xiaolong Shen、Zhenglin Zhou、Ruijie Quan、Yi Yang机构: ReLER, CCAI, Zhejiang University论文:Beyond Pixels: From Video Priors to 4D Worlds项目主页:https://hayd-zju.github.io/Beyond-Pixels/GitHub:https://github.com/hayd-zju/Beyond-PixelsHugging Face:https://huggingface.co/papers/2608.10744

视频生成模型已经可以按照文本、图像、姿态甚至轨迹生成复杂运动,但这些能力通常在输出 RGB 视频后便戛然而止。画面中的世界看起来会动,却不能被自由观察;模型似乎理解了空间,却没有交付显式的动态三维结构。

从视频走向 4D,主流方案往往要经过一个 RGB“中转站”:先将视频 DiT 生成的 latent 解码成像素,再交给独立的 4D 重建模型恢复相机与几何。这个流程模块化程度高,却会让生成误差和分布差异沿着像素接口传入几何结果。

浙江大学团队提出的 Latent-to-4D 选择跳过这次中转。它直接读取视频模型完成去噪后的 VAE latent,通过 Latent-to-4D Alignment and Refinement(L4AR) 网络,将其对齐到预训练 4D 解码器的 token 空间,最终输出相机和动态世界坐标点图。

只要视频 DiT 遵循相同的 VAE 表示协议,一个 L4AR checkpoint 就可以连接不同规模、不同条件形式的视频生成模型,而不需要逐个重新训练 4D 分支。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
Beyond Pixels 展示的多条件 4D 生成结果

Beyond Pixels 从文本、图像及多类视频控制信号出发,将生成 latent 转化为可从新视角观察的动态 4D 场景。

亮点直击

1. 系统提出 direct latent-to-4D generation

以往两阶段方法把 RGB 当成视频生成器和 4D 重建器之间的接口。Latent-to-4D 则把接口向前移动到 VAE latent:视频模型完成去噪后,不必先生成 RGB 几何输入,L4AR 直接从最终 latent 预测显式 4D 结构。

这不是简单地“少跑一次 VAE Decoder”。更重要的是,模型不再要求一个只在有限重建数据上训练的 RGB Encoder,重新解释开放域生成视频中的内容与伪影。

2. 一个 checkpoint 适配三种共享 Wan VAE 的 DiT

论文使用同一个 Latent-to-4D checkpoint,分别连接 Wan2.1-T2V-14B、Wan2.1-T2V-1.3B 和 Wan2.2-I2V-A14B。

三者的 DiT 参数规模和条件形式并不相同,但共享同一个 Wan VAE。切换模型时,L4AR 不需要重新训练,也不使用测试时适配。

3. 约 1K 条已有重建视频即可完成训练

模型没有依赖新采集的大规模生成式 4D 数据。最终训练阶段使用约 1K 条已有重建视频,并复用预训练 4D 重建器中的几何先验。

视频生成器、VAE 和原始 Transformer 权重保持冻结,训练集中在表示对齐、轻量 LoRA 更新以及相机和几何预测头上。

4. 同 latent 公平对比,DINO-F1 最高提升 5.81 个点

Latent-to-4D 与 Wan+4RC 基线读取同一个生成 latent,区别仅在于是否经过 RGB 解码与重新编码。在 Text4D-200 上,DINO-F1 提升 2.88–3.45 个点;在 I4D-200 上提升 5.81 个点。

5. 上游控制能力可以沿同一接口进入 4D

除 Text-to-4D 和 Image-to-4D 外,论文还展示了运动、外观、姿态、角色动画、轨迹、机器人操作与导航等结果。L4AR 不需要为每类条件增加独立任务分支,因为条件效果已经包含在最终生成 latent 中。

总结速览

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

如果把整个框架压缩成一行,就是:

视频 DiT 负责在统一 VAE 空间中生成内容与运动,L4AR 负责将最终 latent 翻译成 4D token,预训练 4D Decoder 负责输出显式几何。

方法

1. 为什么 RGB 接口可能不是最优选择?

设视频模型最终完成去噪后得到 latent。传统 generate-then-reconstruct 流程先调用 VAE Decoder,将 latent 还原为一组 RGB 帧,再由独立的重建模型编码这些帧并预测 4D 场景。

这里至少存在两个潜在问题。

第一,生成域与重建域并不天然匹配。现代视频模型在大规模开放视频上获得了丰富的外观和运动先验,而 4D 重建器往往只能使用规模较小、拍摄条件更受控的数据训练。生成内容越开放,重建器遇到分布外输入的概率越高。

第二,像素错误会继续进入几何计算。视频中的纹理漂移、遮挡错误、闪烁或形变,在二维观看时可能尚可接受;一旦被重建器解释为深度和相机线索,就可能形成跨视角不一致、结构缺失或时间抖动。

集成式 4D 生成方法试图让某个视频模型直接预测几何,但这样又容易将几何监督绑定到一个固定 backbone 或 conditioning regime。换用新的生成器或控制方式时,通常要再次训练。

Latent-to-4D 的目标不是在这两条路线之间折中,而是重新定义接口:

不把 RGB 作为必经的模型间通信格式,直接学习从视频 VAE latent 到结构化 4D token 的映射。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
生成后重建与直接 Latent-to-4D 接口对比

上方流程通过 RGB 连接视频模型和重建模型;下方流程在最终去噪 latent 处接入 L4AR,随后直接进行 4D 解码。

2. 共享 VAE 如何成为“接口协议”?

对任意条件输入,视频 DiT 最终都要生成一个能够被 VAE Decoder 识别的 latent。不同 DiT 即使网络结构不同,只要共享相同 VAE,其输出便必须遵循同样的缩放、通道组织、时空压缩和张量布局。

论文利用的正是这层约束。

训练时,真实视频经过冻结 VAE Encoder 得到 observed-video latent;生成时,兼容 DiT 从条件和噪声出发得到 generated latent。两者来源不同,分布也不必完全一致,但都遵循同一个 VAE 表示约定。

因此,Latent-to-4D 可以在训练阶段学习前者到 4D 的映射,在推理阶段将输入替换成后者,而保持下游网络完全不变。

兼容性并不只由“使用同一品牌的 VAE”决定。论文明确要求以下要素一致:

  • VAE checkpoint;
  • latent normalization;
  • tensor layout;
  • compression convention;
  • Latent-to-4D 支持的 latent shape。

满足这些条件后,DiT backbone 和上游 conditioning regime 可以不同。这也是方法能够同时覆盖两个 Text-to-Video 模型和一个 Image-to-Video 模型的基础。

3. L4AR:Alignment 解决“尺寸不同”,Refinement 解决“语义不通”

共享 VAE 只保证多个视频 DiT 的 latent 彼此兼容,却不代表这个 latent 能被 4D Decoder 直接读取。

视频 latent 与预训练 4D token 在时间分辨率、空间网格和特征宽度上都不相同。L4AR 因此将跨表示映射拆成 Alignment 与 Refinement 两个阶段。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
atent-to-4D 训练框架与 L4AR 细节

L4AR 先完成网格与通道对齐,再通过帧内和全局注意力建立空间细节及跨帧对应,最终把 4D latent 交给预训练解码器。

Grid Alignment:统一时空采样位置

系统首先使用固定的三线性重采样,将输入 latent 调整到 4D 层级所要求的时间长度和空间 token 网格。

这个步骤不学习几何,只负责让两个表示在索引结构上对齐。论文的消融结果显示,即便是不含参数的网格对齐也很重要:完全移除它会破坏后续 token 与空间位置之间的对应关系。

3D Convolution:在局部时空邻域内完成投影

重采样后,一个可学习的 3D 卷积将视频 latent 的通道维度映射到 4D token 宽度,并同时整合相邻空间位置和时间片段。

如果仅做逐位置的线性变换,模型难以利用运动连续性和局部结构。3D 卷积提供了跨时间的局部感受野,为后续全局推理准备更稳定的初始 token。

Frame-wise Attention:先建立每一帧的空间结构

对齐后的 token 会先按帧进行自注意力。每个时间步内部的所有空间 token 相互通信,从而整合物体轮廓、局部表面和帧内结构。

这种设计避免模型一开始就在超长的全局序列上同时处理所有问题,有助于先形成稳定的单帧几何表示。

Global Spatiotemporal Attention:连接跨帧运动和视角变化

随后,全局注意力会将所有时间与空间 token 放在同一个序列中,传播物体对应、相机运动与时间变化信息。

L4AR 不是只使用一次局部、一次全局注意力,而是在预训练 4D 层级中交替组织两种作用域,并汇集多个深度的中间特征。这样既保留高分辨率空间细节,也提供序列级上下文。

4. 4D Decoder 输出什么?

Refinement 得到的多层特征被送入 4D Decoder。

对于每一帧和每个像素位置,几何预测头输出深度、世界空间射线原点、射线方向及相应置信度;相机预测头则给出包含位姿和视场角的相机参数。

世界坐标点由“射线原点 + 深度 × 射线方向”恢复。所有帧的点图位于同一个世界坐标系中,因此可以与预测相机一起支持新视角观察。

训练损失同时覆盖:

  • 置信度加权的深度、深度梯度与世界射线误差;
  • 相机平移、旋转和视场角;
  • 度量深度、世界点误差以及表面法线。

5. 训练和生成阶段如何衔接?

训练阶段,冻结 VAE 编码带有 4D 标注的真实视频,L4AR 学习将 observed-video latent 转为相机和几何。此时不执行视频 DiT,也不对视频模型进行反向传播。

推理阶段,系统从兼容 DiT 取得最终去噪 latent,直接替换训练时的 observed-video latent。Alignment、Refinement 与 4D Decoder 全部原样复用。

因为文本、图像、姿态或轨迹条件已经被 DiT 编入 generated latent,L4AR 不需要 task ID,也没有 condition-specific 4D branch。

实验

1. 评测设置:不仅看原视角,还要从侧面检查结构

论文建立了两个锁定的生成 latent 评测集:

  • Text4D-200: 200 个文本条件 4D 生成案例;
  • I4D-200: 200 个图像条件 4D 生成案例。

每种方法都需要完成全部案例。研究团队从两个偏离原始输入相机的视角渲染预测点序列,并报告 Text CLIP、RGB-reference CLIP-I、DINO global similarity、valid-patch DINO matching 与 DINO set F1。

这些指标试图检查新视角下可见内容的完整性和一致性,而不仅是原始视频视角中的外观相似度。生成 RGB 只用于结果着色和评测参考,不作为 Latent-to-4D 的几何输入。

需要强调的是,off-axis DINO 属于依赖外观的几何代理指标,并不等同于度量级 4D 精度。因此,论文同时引入多视角人类评估和带真实几何的诊断实验。

2. Same-latent 对比:控制视频内容,只改变 4D 接口

最关键的对照组是 Wan+4RC。

对于每个案例,Latent-to-4D 和 Wan+4RC 使用同一个最终生成 latent:前者直接执行 latent-to-4D,后者先经过 Wan VAE Decoder 得到 RGB,再由 4RC 重建。

这项设置尽可能排除了“视频生成样本不同”带来的波动,将比较集中在接口本身。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

在 Text4D-200 上,两个 DiT 对应的 DINO-F1 分别提升 3.45 和 2.88 个点。同一个 checkpoint 在 14B 与 1.3B DiT 上得到接近的最终得分,也说明 L4AR 并未只适应某个固定规模的生成器。

Image-to-4D 的提升更加明显:

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

Latent-to-4D 在 I4D-200 的全部报告指标上排名第一,其中 DINO-F1 相对 same-latent Wan+4RC 提升 5.81 个点。

论文也保留了不占优的结果:在 Text-to-4D 的所有被测方法中,CogVideoX-5B+4RC 仍取得最高 RGB-reference CLIP-I。因此,该工作主张的是结构相关指标和多视角质量的稳定提升,而不是在每一个外观指标上全面领先。

3. 定性结果:洞、断面和缺失结构是否减少?

Text-to-4D 的案例覆盖复古漫画人物、火与水元素、晾晒衣物和随风摆动的植物等内容。

在其他重建结果中,背景支撑面、细长物体和局部表面更容易出现大面积缺失。Latent-to-4D 的点图保留了更完整的主体范围和周围结构。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
Text-to-4D 方法对比

红色虚线框标出不同 RGB 重建基线中的缺失、孔洞或破碎区域。最右侧为 Latent-to-4D。

Image-to-4D 则包含室内瀑布、田野人物、山间建筑与人像转头等场景,同时考察主体运动和相机运动。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
Image-to-4D 方法对比

从左至右依次为输入条件、4RC、π³、Any4D 与 Latent-to-4D。

4. 人类评估:多视角查看后,偏好是否仍然成立?

50 名参与者对两个 benchmark 中各 50 个抽样案例进行了随机、匿名的成对比较。每个案例获得 10 次评分。

评估者不仅可以播放时间变化,还可以主动查看多个视角,随后从条件一致性、几何与完整度、时间稳定性和总体质量四个方面做出选择。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

所有区间均高于 50%,其中几何与完整度的偏好最突出。该结果与 off-axis DINO 的提升方向一致,但仍然属于感知质量判断,而不是度量几何测量。

5. 消融实验:L4AR 中哪些组件真正有用?

论文在 7-Scenes 和 NRGBD 两个带真实几何的数据集上进行组件消融,报告 Accuracy、Completeness 和 Normal Consistency。

完整模型在 7-Scenes 上达到 Acc 3.121 cm、Comp 5.418 cm、NC 0.628;移除 3D Conv 后,Acc 和 Comp 分别恶化到 6.944 cm 和 15.806 cm。移除 Frame Attention 时,Completeness 进一步下降到 20.806 cm;移除 Global Attention 后则为 19.742 cm。

NRGBD 上趋势相同:完整模型为 Acc 5.202 cm、Comp 8.187 cm、NC 0.766;去掉 Frame 或 Global Attention 后,Completeness 分别上升到 36.982 cm 和 36.207 cm,表明仅有局部网格投影不足以恢复稳定的跨帧结构。

这些结果分别支持了三个设计判断:

  • Grid Alignment 负责建立正确的 token 位置关系;
  • 3D Conv 负责在投影前聚合局部时空证据;
  • Frame 与 Global Attention 分别承担帧内结构和跨帧对应。

6. DiT residual 诊断:为何 RGB 路径更容易放大扰动?

为了进一步研究生成 latent 与真实视频 latent 之间的差异,论文构造了一项 near-terminal DiT residual 诊断。

研究者提取接近去噪终点的 residual 分量,将其投影到 Grid-Align 的 width-null space,再以相同强度加入两条待比较路径。该实验隔离的是一个受控的 DiT-derived residual,而不是任意人工噪声。

在 30 组比较中,Latent-to-4D 全部表现更稳定。当扰动系数为 0.6 时,7-Scenes/NRGBD 上的点图漂移分别为 0.0053/0.0047,而 RGB 重建基线为 0.3827/0.3160。

这项诊断没有证明 Latent-to-4D 能抵抗所有生成错误,但说明在所构造的近终点 latent 残差下,直接 latent 路径不会像 RGB 解码—重建链路那样显著放大几何和相机漂移。

7. 更多条件:同一 L4AR 能否承接新的生成玩法?

论文进一步连接了带有运动、外观、姿态和轨迹控制的兼容生成 backbone。

这些任务没有额外的 4D task token,也没有重新训练专用分支。对于 L4AR 而言,上游条件已经被落实为 latent 中的内容与运动变化。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
运动、外观、姿态与轨迹控制结果

示例包括滑板运动、外观编辑、姿态驱动角色动画与轨迹控制。

动作条件实验还覆盖机器人抓取与放置、使用工具、打开容器和导航等场景。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
动作条件与机器人场景

机器人操作和导航 latent 经同一个 L4AR checkpoint 转化为动态 4D 点图。

这里需要区分“支持某种条件”与“完成某个现实任务”。这些结果证明的是接口能够继承条件变化,并不等同于机器人动作已经满足成功率、碰撞约束或物理正确性。

结论

Beyond Pixels 关注的不是再训练一个更大的 4D 生成器,而是重新思考视频生成模型与 4D 几何之间应该如何连接。

过去,RGB 几乎是视觉模型之间默认的通用格式。它易于查看、存储和组合,但对于刚刚完成去噪的视频模型而言,先把 latent 解码成像素,再让另一个网络从像素重新推断结构,未必是信息利用效率最高的方式。

Latent-to-4D 将最终去噪 VAE latent 提升为一等接口:

  1. Alignment Module 统一视频 latent 与 4D token 的网格和通道;
  2. Frame-wise 与 Global Attention 补充帧内几何和全局时空对应;
  3. 预训练 4D Decoder 输出相机和动态世界坐标点图;
  4. 共享同一 VAE 规范的 DiT 可以复用同一个 4D checkpoint。

从结果来看,直接 latent 路径在 same-latent 条件下获得更高的投影 DINO-F1,也在多视角人类评价中得到更高偏好。约 1K 条已有重建视频支撑了三个兼容 DiT 的迁移,说明几何监督可以从特定生成器中解耦出来,在共同 VAE 边界内被重复利用。

当然,这种统一仍有清晰边界。当前证据建立在共享 VAE convention 上,尚未覆盖任意不同 VAE 之间的跨空间连接;投影指标和主观评价主要反映可见结构的一致性、完整性与稳定性,不能替代生成场景的度量级 4D 评测;动作控制案例也不能直接证明物理正确或真实机器人执行成功。

进一步看,这项工作打开了几个值得继续探索的方向:如何跨越不同 VAE 空间建立更加通用的 adapter,如何把点图接口扩展到可编辑、可渲染的动态场景表示,以及如何为生成式 4D 建立兼顾外观、几何、运动和物理一致性的统一评测。

视频模型的能力还在快速增长。新的 DiT 会继续获得更强的角色控制、相机控制、轨迹控制和世界动作生成能力。如果这些模型选择兼容的 latent 协议,那么 4D 能力也许不必被逐个重新发明。

一个共享的 latent 接口,就可能成为多种视频生成能力通往 4D 世界的共同出口。


本文图片均来自论文与项目主页。

技术交流社区免费开放

这是一个高质量AIGC技术社群。

涉及 内容生成/理解(图像、视频、语音、文本、3D/4D等)、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累,方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者,解决从理论到实战中遇到的具体问题。倡导深度讨论,确保每个提问都能得到认真对待。

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口
欢迎扫码加入
浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

技术交流

加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!

浙大Beyond Pixels绕开RGB中转站 1K条视频打通Latent到4D 三种DiT共享出口

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...