2026年9月11日星期五

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

中科大开源OmniVR,首个面向历史电影的音视频联合生成修复模型,可同步修复画面与声音并生成VR全场景视频。项目开放代码与LoRA权重,代码采用Apache-2.0协议,适合AIGC开发者、研究者与内容创作者复现测试,提供论文、GitHub与HuggingFace资源。

Tags:
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方a二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!
中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

OmniVR是第一个针对历史电影的音视频联合生成修复模型——在一个协调的目标下恢复视觉结构、时间运动和声音细节,从而实现画面和声音的同步修复。

OmniVR 是中国科学技术大学团队开源的视频生成项目,旨在突破传统单视角视频生成的局限,让模型能够从全场景空间理解出发,生成更具沉浸感的 VR 视频内容。项目以开源方式开放代码、模型权重与相关资源,推动 VR 生成领域的研究复现和应用落地。

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成
中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:16
进度条,百分之0
00:00
/
00:16
00:16
全屏
倍速播放中

继续观看

中科大开源首个电影音视频联合生成修复模型 OmniVR:让 VR 视频生成从 “单视角” 走向 “全场景理解” 。

转载
,
中科大开源首个电影音视频联合生成修复模型 OmniVR:让 VR 视频生成从 “单视角” 走向 “全场景理解” 。
AIGC Studio
已同步到看一看写下你的评论

主要贡献

三种设计将文本转音频视频生成器转变为老电影联合修复器,同时保留其生成先验。

  1. 联合AV劣化管道 通过互联网收集的数据,模拟真实老电影的特征——模糊、噪声、闪烁、嘶嘶声、剪辑、丢帧,生成用于训练的低质量音频视频配对。

  2. 保留先验的 T2AV → AV2AV 通过快速退火实现的架构保持过渡,将文本到音频视频的生成重新定义为音频视频到音频视频的恢复,最大限度地保留了生成先验。

  3. I2V锚定和波形监控 通过损失重加权和波形监督实现首帧图像到视频的锚定,从而实现长视频外推和高音频保真度。

unsetunset相关链接unsetunset

  • 论文地址:https://arxiv.org/abs/2608.04224
  • 项目主页:https://xin1u.github.io/OminiVR_PAGE/
  • GitHub 仓库:https://github.com/xin1u/OminiVR
  • HuggingFace 模型库:https://huggingface.co/xin1u/OmniVR
  • 基座模型 LTX-2.3:https://ltx2.org/
  • 开源协议:代码 Apache-2.0;LoRA 权重遵循 LTX-2 社区协议

unsetunset内容介绍unsetunset

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

OmniVR 的核心目标,是让视频生成模型不再只 “看见” 一个固定镜头,而是能够理解更完整的空间场景,从而生成适合 VR 观看的全向视频内容。相比传统 2D 视频生成,OmniVR 更强调场景结构、空间连续性、视角一致性与沉浸式观看体验。

unsetunset方法概述unsetunset

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成OmniVR概述。该框架具有以下特点:

  • 联合 AV 劣化——一个模拟逼真老电影损坏效果的流程,适用于视觉和听觉流。 Prior-Preserving AV2AVpatchify_proj — 一个通过 LoRA(排名 384)进行调整的 22B 多模态 DiT,具有成对的潜在条件和即时退火,通过从扩展Linear(128, dim)到 注入 LQ 条件,并Linear(256, dim)在每个去噪步骤中将噪声潜在与 LQ 潜在进行通道连接。
  • 连贯长视频恢复——首帧 (I2V) 链接、损失重加权和波形监督,以实现时间一致、音频保真度保持的长视频恢复。
  • OmniVRBench — 包含 200 个真实的历史电影片段,分为一个with_gt (71 个片段,完整参考)访谈音轨和一个no_gt(129 个片段,无参考)真实档案音轨。

unsetunset实验结果unsetunset

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

从项目公开信息来看,OmniVR 在 VR 视频生成任务中展现出良好的空间一致性与场景连续性,能够生成具有沉浸感的视频内容。项目同时提供代码、模型权重与可视化页面,便于研究者与开发者进行测试、复现和二次开发。

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成针对真实影片的定性对比。每一列展示了来自同一片段的三个采样帧;底部一行展示了修复后的音频波形及梅尔频谱图。基准方法要么缺乏上色效果(RealBasicVSR、MambaOFR),要么产生色彩偏差或不一致(DDColor、ColorMNet);唯有 OmniVR 能同时实现自然色彩、更清晰的细节、时间一致性以及音频降噪修复。中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成基于真实历史轨迹的人类偏好研究(包含 129 个片段,由 12 名标注员参与)。轨迹图展示了成对胜率(%);中间的刻度线标示了 50% 的平局基准线。最后一行列出了 OmniVR 相比最强基线方法所取得的绝对百分点提升。95% 置信区间(CI)通过自助法(bootstrap)计算得出。中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

unsetunset结论unsetunset

OmniVR 的开源,意味着 VR 视频生成正在从 “生成一段视频” 进一步走向 “理解一个场景”。对于 AIGC 开发者、研究者和内容创作者而言,这不仅是模型能力的升级,也为未来沉浸式内容、虚拟导览、空间计算和交互场景提供了新的技术基础。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

中科大开源OmniVR:首个电影音视频联合修复模型 支持VR全场景生成

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...