2026年8月6日星期四

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

中科院自动化所提出PhiZero世界模型,采用物理语言表示状态转移,实现先推理后渲染的视频生成。该模型在海浪碰撞、机器人迁移等任务中保持物理一致性,在Physics-IQ等基准上领先。适合AI与具身智能研究者了解物理世界建模新范式。

Tags:
点击下方卡片,关注“AI生成未来”

👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

作者单位:中科院自动化所

解读:AI生成未来
中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

项目主页:https://Phi-Zero.github.io/作者: Shuyao Shang、Yuqi Wang、Ruopeng Gao、Xu Chen、Tieniu Tan、Lue Fan、Zhaoxiang Zhang

自然语言连接了 AI 与人类积累的数字知识。下一步,当AI走入物理世界,PhiZero希望用“物理语言”连接 AI 智能与真实世界。

人类用语言保存经验、传递知识,也用语言进行思考。从日常交流到科学定律,从历史记录到程序代码,自然语言凝结了人类长期积累的知识与经验。今天的大语言模型正是从这些语言材料中学习,逐渐获得了组织知识、表达概念,以及理解和推理数字世界的能力。

但当 AI 从数字空间走向物理空间,一个新的问题随之出现:如果自然语言是理解数字世界的重要接口,那么,物理世界能不能也拥有一套属于自己的“语言”?

PhiZero 能做什么?

在解释“物理语言”之前,不妨先看 PhiZero 已经能够做什么。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

1. 物理真实的视频世界模型

PhiZero 能够建模海浪撞击岩石、液体注入容器、物体落入热油、金属罐爆炸等复杂过程,并生成连贯的后续变化。模型关注的不只是单帧是否逼真,更关注事件是否完整、物理后果是否连续。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:02
进度条,百分之0
00:00
/
00:02
00:02
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

海浪、流体、燃烧、爆炸与物体交互:不同场景背后,共享的是对世界状态如何演化的建模。

2. Motion Transfer:保持变化,替换载体

物理语言主要表达“怎样变化”,而不是“谁在变化”。因此,同一段状态转移可以被重新渲染到新的外观、身体形态或视觉域中。

Human Body → G1 Humanoid

PhiZero 从人类运动视频中提取状态转移,再将同一段物理语言渲染到 Unitree G1 人形机器人上。整个过程不需要人类与机器人之间的成对训练视频。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

四组跨形态迁移案例;每组左侧为人类源视频,右侧为 G1 迁移结果。

Human Hand → Sharpa Dexterous Hand

人手的接触、抓取和腕部运动也可以迁移到 Sharpa 灵巧手。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

Simulation → Reality

相同思路还可以用于 sim-to-real:保留仿真视频中的交互过程,用真实外观替换初始场景,再根据原有物理语言重新渲染。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

每一行左侧为仿真源视频,右侧为在真实视觉域中重新渲染的结果。

3. 可交互的 Image-to-World 探索

PhiZero 支持连续、可修改的控制输入。模型根据每一步移动和视角指令更新未来世界,同时尽可能保持场景、地标与空间关系的一致性。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:08
进度条,百分之0
00:00
/
00:08
00:08
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

四个可交互世界:异星地貌、月夜湖畔、海岸村落与夕阳原野。

4. Action-conditioned 驾驶世界模型

对同一个初始驾驶场景施加不同控制轨迹,PhiZero 能够生成与转向方向和幅度对应的未来。下方四个场景均同时展示多条候选控制信号及其视频结果。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

5. Action-conditioned 机器人世界模型

从抓取、舀取到双臂协作,PhiZero 可以先将动作轨迹“翻译”为物理语言,再渲染对应的细粒度机器人交互。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

从这些能力出发:为什么需要“物理语言”?

视频世界模型正在变得越来越强。给定一张图像或一句指令,它们已经能够生成画面逼真的未来视频。然而,视觉上的“像”,并不等于物理上的“对”。一个网球撞上玩具鸭,鸭子是否会被推开?物体落入热油,液体会如何飞溅?金属罐爆炸后,火焰、碎片与阴影将怎样连续变化?这些问题真正考验的,不只是模型能否生成清晰的像素,而是它是否理解:当前状态将如何转变,动作会带来什么后果,世界又将沿着怎样的因果链继续演化。

以往的视频世界模型通常直接在高维像素空间中预测未来。物理规律被隐含在庞大的视觉预测器里,模型更像是在“猜下一段画面”,而不是显式地推理“接下来会发生什么”。PhiZero 希望改变这一点。

什么是“物理语言”?

PhiZero尝试从海量真实视频中,通过自监督学习得到一种紧凑、离散的 物理语言(Physical Language)。它不负责描述一个物体是什么颜色、拥有怎样的纹理,也不试图把每一个像素重新编码一遍。它关注的是另一件事:

物体如何运动和交互,世界状态如何从此刻持续演化到下一刻。

例如,“杯子是什么样”可以由第一帧画面提供;而“液体如何倾倒、扩散和流动”,则由物理语言来表达。这样一来,“世界长什么样”与“世界怎样变化”便可以在表示上被分开。这种设计让物理语言成为一种可复用的状态转移表示:场景外观可以改变,物体形态可以改变,但运动与交互的模式仍有机会被保留、组合和迁移。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

状态转移保持不变,物体、材质与场景外观发生变化。

PhiZero:先推理,再渲染

围绕物理语言,PhiZero 建立了一套 Reason-then-Render(先推理、再渲染) 的世界建模范式。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

整个过程包含两个核心部分:

第一步:学习物理语言。  Physical Language Tokenizer 从视频中提取相邻世界状态之间的变化,并将其压缩为离散符号序列。第一帧负责提供场景与物体的静态外观,预训练扩散解码器负责补全视觉细节,因此有限的符号容量可以更专注地记录“发生了什么变化”。

第二步:用物理语言推理未来。  Physical Language Reasoner 以当前画面和动作意图为输入,先自回归地预测未来的物理语言序列,再由扩散解码器把这段世界演化渲染成视频。

于是,未来视频的生成不再只是一次从条件到像素的直接映射,而被拆解成两个更清晰的过程:

现在的世界是什么状态 → 接下来会怎样变化 → 这种变化在画面中如何呈现

在一个四秒、8 FPS、分辨率为 512×896 的视频中,PhiZero 只使用 256 个离散物理语言符号 来表示第一帧之后的状态转移。作为参照,常规视频 VAE 需要 44,800 个连续视觉 token。实验显示,在高度压缩的视频 tokenizer 中,物理语言仍能保持领先的重建质量: 它所保留的并不是冗余的外观,而是支撑世界演化的关键信息。

从海量视频中,学习世界如何变化

语言来自经验,物理语言也一样。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

PhiZero 首先从约 5 万小时真实世界视频中进行去重、质量过滤与镜头筛选,得到约 1 万小时无标注视频用于 Physical Language Tokenizer 预训练;随后结合真实与仿真数据,构建约 500 万个四秒视频片段,进一步学习更丰富的状态转移;最后筛选出约 100 万个运动显著、物理过程清晰的视频片段,用于强化 Physical Language Reasoner 对物理演化的推理能力。

这里没有预先规定“碰撞”“重力”或“流体”应该对应哪个符号。物理语言从观看世界的过程中涌现:模型通过压缩、重建和预测大量视频,逐渐学会哪些变化模式值得被记录,以及它们如何组合成连续的世界演化。

物理语言帮助世界模型理解世界

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
已关注
关注
重播 分享 赞
AI生成未来

0/0

00:00/00:03
进度条,百分之0
00:00
/
00:03
00:03
全屏
倍速播放中

继续观看

不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所

转载
,
不再困于自然语言: 使用“物理语言”的世界模型PhiZero | 中科院自动化所
AI生成未来
已同步到看一看写下你的评论

四组 Physics-IQ 对比案例,橙色边框标识 PhiZero 结果。

PhiZero在物理视频生成与理解任务上进行了系统评测。

在 Physics-IQ Verified、PhyGround 和 WorldModelBench 三项视频生成基准上,PhiZero 分别在物理结果一致性、物理规律遵循和综合世界建模指标上取得领先表现。与直接生成像素的视频模型相比,PhiZero 更能捕捉碰撞后的位移、重力导致的形变、连续的链式反应,以及随物体运动而变化的阴影等物理后果。

在 IntPhys2、LikePhys 和 YoCausal 三项视频理解基准上,PhiZero 同样展现出有竞争力或领先的结果。它可以比较两段视频在物理语言空间中的合理程度,从而识别违反直觉物理或因果关系的事件。这意味着,物理语言不只是生成视频时使用的压缩编码,也可以成为模型判断“什么更可能在真实世界中发生”的依据。

让物理语言成为 AI 与真实世界的新接口

自然语言的重要性,不只在于它能够描述世界,更在于它提供了一种抽象、组合、推理和交流知识的方式。我们对物理语言的期待也是如此。

PhiZero 是这条路线上的早期探索:当世界演化被压缩成一种可预测、可传递的中间语言后,生成、理解、控制与迁移可以在同一个框架中建立联系。未来,物理语言或许可以进一步服务于多模态模型的时空理解、具身智能体的规划,以及跨机器人形态的技能迁移。更大规模的数据、更强的模型和更长时间跨度的推理,也将帮助它描述更加丰富的真实世界。

正如自然语言连接了 AI 与数字知识,我们希望,物理语言能够成为连接 AI 智能与真实物理世界 的一种新接口:

让 AI 不只看见世界,也学会用世界自己的语言,理解它将如何变化。

参考文献

[1] PhiZero: A World Model Built Around Physical Language

技术交流社区免费开放

这是一个高质量AIGC技术社群。

涉及 内容生成/理解(图像、视频、语音、文本、3D/4D等)、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累,方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者,解决从理论到实战中遇到的具体问题。倡导深度讨论,确保每个提问都能得到认真对待。

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化
欢迎扫码加入
中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

技术交流

加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!

中科院自动化所PhiZero世界模型:用物理语言理解真实世界变化

没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...