浙江大学团队提出PhyEdit,结合显式3D几何与生成式图像编辑,实现图片中物体的精准三维操作。该方法已被ACM MM 2026接收。项目已开源代码、数据集和交互GUI,适用于计算机视觉、机器人视觉规划及内容创作领域的研究开发者。
Tags:👇扫码免费加入AI知识星球,如您有工作需要分享,欢迎联系:aigc_to_future
论文:https://arxiv.org/abs/2604.07230项目主页:https://nenhang.github.io/PhyEdit代码:https://github.com/nenhang/PhyEdit
【导语】 今天的图像编辑模型已经很会“改”:换材质、加元素、调姿态都不在话下。但如果要求模型把一个物体准确地从近处移到远处,或绕过另一个物体放到指定位置,问题就不再只是修图,而是需要理解透视、尺度、深度和遮挡。浙江大学 ReLER 团队提出的 PhyEdit,尝试把显式 3D 几何和生成式图像编辑结合起来,让模型从“二维挪图”迈向真实场景中的三维物体操作。该工作已被 ACM MM 2026 接收。
一、同样是“移动”,二维拖拽和三维操作差在哪?
把图片里的某个物体向左移动几十个像素并不难,但把物体从远处移动到镜头前,需要同时解决三件事:
尺度会随深度变化:靠近镜头时物体应自然变大,而不是保持原尺寸平移。 遮挡顺序会改变:操作后物体可能挡住背景,也可能被前景遮住。 物体与场景要重新融合:边界、阴影、接触和纹理不能像剪贴图一样突兀。
单纯依赖文字中的“更近”“更远”,模型很难恢复精确的三维目标。PhyEdit 因此选择先显式计算几何,再让生成模型处理真实感。
二、PhyEdit 的解法:先搭好三维骨架,再生成最终画面
PhyEdit 的工作流程可以概括为三个步骤。
1. 构造 3D-transformed preview
系统从源图、物体掩码和目标三维位移出发,通过 3D foundation model 预测深度与相机参数,把物体反投影成点云,在三维空间中完成操作,再投影回图像。
这一步得到的 preview 可能有空洞、边界缺失甚至局部失真,但它提供了最关键的目标几何:物体应该出现在哪里、大小如何变化、和其他物体是什么前后关系。
2. 由 DiT 完成真实感重建
PhyEdit 使用 Qwen-Image-Edit 作为编辑 backbone。源图负责保留原始身份和环境,preview 作为额外视觉条件指明三维目标,DiT 则负责恢复细节和语义关系。
3. 用深度监督约束结果
仅使用生成模型原有的 flow-matching loss,模型更关心图像是否“像”,未必关心深度是否“对”。PhyEdit 将预测的干净 latent 解码回图像,再用冻结的 3D 模型计算深度,并施加像素级 SILog loss,使几何误差能直接反馈到最终编辑结果。
三、连续操作:让单张图像变成可控状态序列
当用户给出一条三维轨迹时,PhyEdit 可以依次生成多个关键状态,再用视频模型补齐中间帧。下图中的机械臂属于训练分布之外的对象,仍能沿轨迹移动手中的红笔。实线边框是 PhyEdit 生成帧,虚线边框是插值帧。
这类能力让图像编辑不再局限于一次性的“前后对比”,而更接近可交互的状态渲染器,可用于机器人视觉规划、内容预演和图像驱动的交互应用。
四、操作之外,还能继续听懂编辑指令吗?
加入 3D 条件后,一个自然问题是:基础模型原有的通用编辑能力会不会被破坏?团队在物体级指令上进行了测试,任务包括改变颜色或材质、添加图案与局部元素。
PhyEdit 在一次生成中同时完成三维操作和附加编辑,综合编辑成功率相比其基础模型 Qwen-Image-Edit 单独执行编辑任务只差 1.3 个百分点;与此同时,PhyEdit 的 3D 指标明显更好,例如 Chamfer 从 46.31 降至 20.97。
五、RealManip-40K 与 ManipEval
为了训练真实场景中的三维变化,团队从视频中构建了 RealManip-40K,共包含 41,154 对源图和目标图。数据覆盖显著远近变化、局部遮挡和多物体操作,并提供深度、掩码与代表性三维坐标。
团队还提出 ManipEval,包含 200 对测试图像和约 320 个物体,分别从二维落位、深度误差、三维点云、视觉一致性、图像质量和物理合理性等角度评价编辑结果。
六、与 Nano Banana Pro 等模型相比表现如何?
PhyEdit 在 ManipEval 上取得 DIoU 65.33、Mask IoU 27.20、Chamfer 18.93、RA-DINO 36.91 和 Phys-VLM 93.72。相较 Nano Banana Pro,DIoU 提升 5.36,Chamfer 距离降低 6.40。在盲测中,标注者对 PhyEdit 相较 Nano Banana Pro 的整体偏好率达到 **78.0%**。
在涉及 2 至 4 个目标的多物体场景中,显式空间控制的作用更明显。相较 Nano Banana Pro,PhyEdit 的 Chamfer 优势从单物体场景的 5.19 扩大到 6.58,深度准确率指标 δ₁.₂₅ 的优势则从 1.91 扩大到 8.02。当多个物体需要同时改变位置和前后关系时,模型仍能较稳定地覆盖全部操作目标。
七、换一个 3D 模型,PhyEdit 还能工作吗?
PhyEdit 默认使用 Depth-Anything-3 生成几何 preview。为了判断性能提升是否只是来自某一个特定模型,团队固定训练好的图像编辑器,仅替换前端的 3D backbone,并且不对这些 3D 模型进行额外微调。
实验中,DA2、MoGe、VGGT、Pi3X 和 DA3 相对 Nano Banana Pro 都保持了正向平均几何增益。这说明更强的几何先验确实能继续改善结果,但 PhyEdit 的整体机制并不依赖单一深度或三维估计器。未来出现更强的 3D foundation model 时,也可以直接替换这一模块。
八、完整交互流程
开源项目提供了交互式 GUI。用户可以上传图片、选择物体、在点云中调整三维位置和旋转,先查看几何 preview,再生成最终结果。
写在最后
PhyEdit 并不是完整的物理模拟器,它显式处理的是刚体操作、投影、尺度和深度顺序,并未直接建模碰撞、受力或动力学;最终视觉细节由生成模型根据指令和数据分布进行渲染,结果也仍会受到深度、相机和掩码误差的影响。但它证明了一条实用路线:无需把庞大的编辑模型改造成专门的 3D 网络,也可以通过几何条件和深度监督,显著提升真实图像中的空间操作能力。
模型权重:https://huggingface.co/ruihangxu/PhyEdit 数据集:https://huggingface.co/datasets/ruihangxu/RealManip-40K
本文图片均来自论文与项目主页。
技术交流社区免费开放
涉及 内容生成/理解(图像、视频、语音、文本、3D/4D等)、大模型、具身智能、自动驾驶、深度学习及传统视觉等多个不同方向。这个社群更加适合记录和积累,方便回溯和复盘。愿景是联结数十万AIGC开发者、研究者和爱好者,解决从理论到实战中遇到的具体问题。倡导深度讨论,确保每个提问都能得到认真对待。
技术交流
加入「AI生成未来社区」群聊,一起交流讨论,涉及 图像生成、视频生成、3D生成、具身智能等多个不同方向,备注不同方向邀请入群!可添加小助手备注方向加群!
没有评论:
发表评论