2026年8月13日星期四

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

港科大与清华联合开源LiveLight,首个实时流式视频重打光框架。输入单张静态图片,0.25秒即可生成时序连贯的动态光照视频,无需3D模型或多视角素材。适用于研究者、影视后期及数字内容创作者,代码与权重已开源,可在ModelScope获取。

Tags:
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

静态图像往往定格某一瞬间的光线。LiveLight 实现单张图片生成时序连续的动态光照效果,为图像动画、虚拟渲染带来全新思路。

当前 AI 图像生成领域,物体、人物动态生成已有大量方案,但真实可控的动态光照模拟依旧是一大难点。多数方法容易出现光影跳变、物体材质崩坏、时序不一致等问题,很难还原现实世界光线随时间演变的物理逻辑。

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

LiveLight 就此提出一套完整开源框架,仅依靠一张静态图片作为输入,就可以输出时序连贯、物理可信的动态光照视频。该项目不需要多视角素材、不需要额外 3D 模型,兼顾真实光影变化与物体细节保留。模型同时开源权重与完整代码,在 ModelScope 也可直接获取,普通研究者与开发者都可以快速上手,在图像动画、影视后期、数字内容创作场景具备很高实用价值

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:30
进度条,百分之0
00:00
/
00:30
00:30
全屏
倍速播放中

继续观看

视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。

转载
,
视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。
AIGC Studio
已同步到看一看写下你的评论
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:09
进度条,百分之0
00:00
/
00:09
00:09
全屏
倍速播放中

继续观看

视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。

转载
,
视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。
AIGC Studio
已同步到看一看写下你的评论
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
已关注
关注
重播 分享 赞
AIGC Studio

0/0

00:00/00:14
进度条,百分之0
00:00
/
00:14
00:14
全屏
倍速播放中

继续观看

视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。

转载
,
视频重打光进入实时交互时代!港科大联合清华开源首个实时流式视频重打光框架 LiveLight, 0.25 秒生成单图连续变化光照效果。
AIGC Studio
已同步到看一看写下你的评论

相关链接

  • 论文:https://arxiv.org/abs/2608.01771
  • 主页:https://living-lighting.github.io
  • GitHub 仓库:https://github.com/mayuelala/LiveLight
  • 权重:https://modelscope.cn/models/wjm1029/LiveLight/summary

内容介绍

LiveLight 是一款单图驱动的动态光照生成开源框架。区别于传统图像动画侧重物体形变、人物运动,该项目核心聚焦光线本身的时序变化:输入一张普通 2D 图片,即可输出光照随时间推移连续演变的短视频。

项目无需 3D 重建、无需多张时序参考图,能够模拟日出日落、灯光明暗切换、光源角度移动等多种光照场景。在生成过程中保证物体材质、阴影、高光同步发生符合物理逻辑的改变,不会出现物体扭曲、纹理错乱。 可应用于图片转光影动画、影视素材预处理、虚拟数字场景渲染、AI 内容创作等方向,全部代码与模型权重对外开源,降低动态光照研究的落地门槛。

方法概述

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

LiveLight 整体架构主要分为光照表征学习、时序光照生成、图像渲染对齐三大模块。

  • 光照解耦表征:从单张输入图像中解耦出环境光照、物体材质、几何信息,把光照信息与物体本身内容分离开,避免修改光线时破坏原图物体细节。
  • 时序光照推演模块:构建时序生成网络,学习真实世界光照的变化规律,生成连续平滑的光照序列,控制光源强度、方向、色温随时间发生变化。
  • 可微分渲染对齐:将推演得到的时序光照重新渲染回原图,通过渲染损失约束,保证阴影、反射、高光和物体材质保持一致,抑制闪烁、跳帧现象。 整套方案不需要依赖显式完整 3D 重建,大幅降低计算开销,实现端到端动态光照视频生成。

实验结果

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果
港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

在多组真实图像数据集上开展对比实验,和现有图像动画、光照编辑方案对比:

  • 时序一致性:在光照连续变化过程中,物体纹理、轮廓保持稳定,视频闪烁、光影跳变现象显著少于基线方案。
  • 光照物理真实性:阴影投射、高光反射、材质反光更贴合现实物理规则,主观评测中真实感得分领先同类方法。
  • 泛化能力:对室内场景、户外风景、人像图片都具备不错适配,支持多种光源角度、色温、明暗变化的自定义控制。
  • 效率与开源性:模型推理速度满足短视频生成需求,代码、权重完整开源,可直接复现论文全部实验效果。

结论

LiveLight 提出了一套实用的单图动态光照生成方案,把研究重点放在容易被忽视的 “光线时序演化”,仅输入一张静态图像就可以生成物理可信的光照动画。 该方案避开复杂 3D 重建,兼顾生成效果与落地成本,为图像动画、AI 视频、虚拟渲染领域提供新工具。随着后续优化,动态光照技术有望进一步提升 AI 生成视频的真实质感,是值得关注的多模态研究方向。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

港科大清华开源LiveLight实时流式视频重打光框架 单图生成动态光照效果

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...