中科大开源OmniVR,首个面向历史电影的音视频联合生成修复模型,可同步修复画面与声音并生成VR全场景视频。项目开放代码与LoRA权重,代码采用Apache-2.0协议,适合AIGC开发者、研究者与内容创作者复现测试,提供论文、GitHub与HuggingFace资源。
Tags:OmniVR是第一个针对历史电影的音视频联合生成修复模型——在一个协调的目标下恢复视觉结构、时间运动和声音细节,从而实现画面和声音的同步修复。
OmniVR 是中国科学技术大学团队开源的视频生成项目,旨在突破传统单视角视频生成的局限,让模型能够从全场景空间理解出发,生成更具沉浸感的 VR 视频内容。项目以开源方式开放代码、模型权重与相关资源,推动 VR 生成领域的研究复现和应用落地。
主要贡献
三种设计将文本转音频视频生成器转变为老电影联合修复器,同时保留其生成先验。
联合AV劣化管道 通过互联网收集的数据,模拟真实老电影的特征——模糊、噪声、闪烁、嘶嘶声、剪辑、丢帧,生成用于训练的低质量音频视频配对。
保留先验的 T2AV → AV2AV 通过快速退火实现的架构保持过渡,将文本到音频视频的生成重新定义为音频视频到音频视频的恢复,最大限度地保留了生成先验。
I2V锚定和波形监控 通过损失重加权和波形监督实现首帧图像到视频的锚定,从而实现长视频外推和高音频保真度。
相关链接
论文地址:https://arxiv.org/abs/2608.04224 项目主页:https://xin1u.github.io/OminiVR_PAGE/ GitHub 仓库:https://github.com/xin1u/OminiVR HuggingFace 模型库:https://huggingface.co/xin1u/OmniVR 基座模型 LTX-2.3:https://ltx2.org/ 开源协议:代码 Apache-2.0;LoRA 权重遵循 LTX-2 社区协议
内容介绍
OmniVR 的核心目标,是让视频生成模型不再只 “看见” 一个固定镜头,而是能够理解更完整的空间场景,从而生成适合 VR 观看的全向视频内容。相比传统 2D 视频生成,OmniVR 更强调场景结构、空间连续性、视角一致性与沉浸式观看体验。
方法概述
OmniVR概述。该框架具有以下特点:
联合 AV 劣化——一个模拟逼真老电影损坏效果的流程,适用于视觉和听觉流。 Prior-Preserving AV2AVpatchify_proj — 一个通过 LoRA(排名 384)进行调整的 22B 多模态 DiT,具有成对的潜在条件和即时退火,通过从扩展Linear(128, dim)到 注入 LQ 条件,并Linear(256, dim)在每个去噪步骤中将噪声潜在与 LQ 潜在进行通道连接。 连贯长视频恢复——首帧 (I2V) 链接、损失重加权和波形监督,以实现时间一致、音频保真度保持的长视频恢复。 OmniVRBench — 包含 200 个真实的历史电影片段,分为一个with_gt (71 个片段,完整参考)访谈音轨和一个no_gt(129 个片段,无参考)真实档案音轨。
实验结果
从项目公开信息来看,OmniVR 在 VR 视频生成任务中展现出良好的空间一致性与场景连续性,能够生成具有沉浸感的视频内容。项目同时提供代码、模型权重与可视化页面,便于研究者与开发者进行测试、复现和二次开发。
针对真实影片的定性对比。每一列展示了来自同一片段的三个采样帧;底部一行展示了修复后的音频波形及梅尔频谱图。基准方法要么缺乏上色效果(RealBasicVSR、MambaOFR),要么产生色彩偏差或不一致(DDColor、ColorMNet);唯有 OmniVR 能同时实现自然色彩、更清晰的细节、时间一致性以及音频降噪修复。
基于真实历史轨迹的人类偏好研究(包含 129 个片段,由 12 名标注员参与)。轨迹图展示了成对胜率(%);中间的刻度线标示了 50% 的平局基准线。最后一行列出了 OmniVR 相比最强基线方法所取得的绝对百分点提升。95% 置信区间(CI)通过自助法(bootstrap)计算得出。
结论
OmniVR 的开源,意味着 VR 视频生成正在从 “生成一段视频” 进一步走向 “理解一个场景”。对于 AIGC 开发者、研究者和内容创作者而言,这不仅是模型能力的升级,也为未来沉浸式内容、虚拟导览、空间计算和交互场景提供了新的技术基础。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论