港科大与清华联合开源LiveLight,首个实时流式视频重打光框架。输入单张静态图片,0.25秒即可生成时序连贯的动态光照视频,无需3D模型或多视角素材。适用于研究者、影视后期及数字内容创作者,代码与权重已开源,可在ModelScope获取。
Tags:静态图像往往定格某一瞬间的光线。LiveLight 实现单张图片生成时序连续的动态光照效果,为图像动画、虚拟渲染带来全新思路。
当前 AI 图像生成领域,物体、人物动态生成已有大量方案,但真实可控的动态光照模拟依旧是一大难点。多数方法容易出现光影跳变、物体材质崩坏、时序不一致等问题,很难还原现实世界光线随时间演变的物理逻辑。
LiveLight 就此提出一套完整开源框架,仅依靠一张静态图片作为输入,就可以输出时序连贯、物理可信的动态光照视频。该项目不需要多视角素材、不需要额外 3D 模型,兼顾真实光影变化与物体细节保留。模型同时开源权重与完整代码,在 ModelScope 也可直接获取,普通研究者与开发者都可以快速上手,在图像动画、影视后期、数字内容创作场景具备很高实用价值
相关链接
论文:https://arxiv.org/abs/2608.01771 主页:https://living-lighting.github.io GitHub 仓库:https://github.com/mayuelala/LiveLight 权重:https://modelscope.cn/models/wjm1029/LiveLight/summary
内容介绍
LiveLight 是一款单图驱动的动态光照生成开源框架。区别于传统图像动画侧重物体形变、人物运动,该项目核心聚焦光线本身的时序变化:输入一张普通 2D 图片,即可输出光照随时间推移连续演变的短视频。
项目无需 3D 重建、无需多张时序参考图,能够模拟日出日落、灯光明暗切换、光源角度移动等多种光照场景。在生成过程中保证物体材质、阴影、高光同步发生符合物理逻辑的改变,不会出现物体扭曲、纹理错乱。 可应用于图片转光影动画、影视素材预处理、虚拟数字场景渲染、AI 内容创作等方向,全部代码与模型权重对外开源,降低动态光照研究的落地门槛。
方法概述
LiveLight 整体架构主要分为光照表征学习、时序光照生成、图像渲染对齐三大模块。
光照解耦表征:从单张输入图像中解耦出环境光照、物体材质、几何信息,把光照信息与物体本身内容分离开,避免修改光线时破坏原图物体细节。 时序光照推演模块:构建时序生成网络,学习真实世界光照的变化规律,生成连续平滑的光照序列,控制光源强度、方向、色温随时间发生变化。 可微分渲染对齐:将推演得到的时序光照重新渲染回原图,通过渲染损失约束,保证阴影、反射、高光和物体材质保持一致,抑制闪烁、跳帧现象。 整套方案不需要依赖显式完整 3D 重建,大幅降低计算开销,实现端到端动态光照视频生成。
实验结果
在多组真实图像数据集上开展对比实验,和现有图像动画、光照编辑方案对比:
时序一致性:在光照连续变化过程中,物体纹理、轮廓保持稳定,视频闪烁、光影跳变现象显著少于基线方案。 光照物理真实性:阴影投射、高光反射、材质反光更贴合现实物理规则,主观评测中真实感得分领先同类方法。 泛化能力:对室内场景、户外风景、人像图片都具备不错适配,支持多种光源角度、色温、明暗变化的自定义控制。 效率与开源性:模型推理速度满足短视频生成需求,代码、权重完整开源,可直接复现论文全部实验效果。
结论
LiveLight 提出了一套实用的单图动态光照生成方案,把研究重点放在容易被忽视的 “光线时序演化”,仅输入一张静态图像就可以生成物理可信的光照动画。 该方案避开复杂 3D 重建,兼顾生成效果与落地成本,为图像动画、AI 视频、虚拟渲染领域提供新工具。随着后续优化,动态光照技术有望进一步提升 AI 生成视频的真实质感,是值得关注的多模态研究方向。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论