CNS-Edit++ 提出耦合神经形状表示,将全局语义与局部空间特征结合,支持复制、缩放、删除、混合、点拖拽和区域拖拽6类编辑操作。该框架可接入TRELLIS等3D基础模型,实现类别无关的局部编辑,并在ShapeNet等多个数据集上验证效果。适合3D生成研究人员与开发者参考,当前版本主要编辑几何形状,尚未同步处理纹理。
Tags:
论文信息
标题:CNS-Edit++: Category-Agnostic 3D Editing with Coupled Neural Shape Representation
作者:Jingyu Hu, Weilong Yan, Zhengzhe Liu, Haipeng Li, Ka-Hei Hui, Hao (Richard) Zhang, Chi-Wing Fu
机构:香港中文大学、新加坡国立大学、岭南大学、香港科技大学、Autodesk AI Lab、西蒙菲莎大学
论文链接:https://arxiv.org/pdf/2607.16577
导读
如果把 3D 生成比作让 AI 从零“捏”出一个模型,那么 3D 编辑更像给现成模型做一场微创手术:只改用户指定的位置,整体语义不能崩,旁边没有选中的结构也不能被“误伤”。这件事听起来直观,真正做起来却很难——全局语义与局部控制往往顾此失彼。
CNS-Edit++ 给出的答案是一套“全局设计图 + 局部空间地图”的耦合表示。它把负责整体语义的全局潜变量,与负责精确空间定位的 3D 神经特征体积绑在一起,再根据用户的编辑操作共同优化二者。基于这套表示,模型可以完成复制、缩放、删除、混合、点拖拽和区域拖拽 6 类操作,而且不再局限于椅子或飞机等少数类别,可直接接入 TRELLIS、Direct3D-S2 等 3D 基础模型,处理多种对象。
效果展示
CNS-Edit++ 最直观的特点就是“能改、会补、还懂语义”。用户只需要圈选区域、给出拖拽点或指定参考部件,模型就会把操作翻译成神经空间中的优化目标。
(图 1:CNS-Edit++ 支持复制、缩放、删除、混合、点拖拽和区域拖拽 6 类 3D 编辑操作。)
复制操作可以把局部结构无缝粘贴到新位置;删除操作不仅把选中部件拿掉,还会根据周围结构补出合理几何;混合操作能把参考模型的局部部件迁移到当前模型上。更有意思的是,系统还具备一定的语义理解能力——例如只缩放对称结构的一侧,另一侧也可以随之协调变化。
(图 2:从输入形状、用户操作到编辑结果。不同算子都被统一为对 CNS 表示的优化。)
引言
传统 3D 编辑常常依赖点、骨架、包围笼或简单几何体作为“把手”。这些把手容易操作,却很难表达细粒度结构;基于文本提示的编辑虽然通用,但一句话往往太粗,无法准确描述“把这个孔缩小一点”或“只删除这一块靠垫”。
潜空间编辑提供了另一条路:在生成模型内部修改形状表示,让模型自己的先验帮助维持几何合理性。问题在于,潜变量通常擅长表达“这是什么”,却不擅长回答“具体改哪里”;空间特征能够精确定位,却可能缺乏整体语义。只优化前者,局部操作不够听话;只修改后者,又容易产生伪影或不自然结构。
CNS-Edit++ 的核心任务,就是在二者之间搭一座桥:让全局潜变量把住“语义方向盘”,让神经特征体积提供“空间坐标系”,在一次编辑中同步更新。
主要贡献
耦合神经形状表示:提出 Coupled Neural Shape(CNS)表示,用全局潜变量捕获高层语义,用 3D 神经特征体积提供局部空间上下文。
从单类别走向类别无关:将原本基于类别特定 3D 反演模型的 CNS-Edit,扩展到图像条件和文本条件的 3D 基础模型,形成 CNS-Edit++。
一套框架覆盖 6 类操作:统一支持复制、缩放、删除、混合、点拖拽和区域拖拽,并允许组合基础操作形成“剪切—粘贴”等新操作。
局部编辑不“牵一发动全身”:通过 KV-cache 替换与潜特征正则化,尽量锁住未编辑区域。
多骨干、多类别验证:在 ShapeNet、ABC、SMPL 和 Objaverse 上进行实验,并在 TRELLIS、Direct3D-S2 与类别特定反演模型上验证通用性。
方法
CNS-Edit++ 的工作流程可以理解为:先为 3D 形状建立一份“双层病历”,再把用户操作转成优化目标,最后在保护区约束下完成“微创手术”。
(1)建立“双层表示”:全局设计图 + 局部空间地图
全局潜变量 z 负责描述物体的整体语义,例如类别、结构和对称关系;神经特征体积 F 则像一张带坐标的 3D 地图,保留“哪里对应模型的哪个局部”。二者并非彼此独立:潜变量经过生成器会产生相应特征体积,而特征体积的变化也可以通过可微生成过程反向传回潜变量。
(图 3:CNS-Edit++ 总体框架。先构建耦合的 z 与 F,再把编辑操作写成目标函数并共同优化,最后解码得到编辑形状。)
(2)接入 3D 基础模型:让不同条件都能对准输入形状
在图像条件模型中,系统先渲染输入形状,再用图像编码器获得全局潜变量;在文本条件模型中,仅靠“一把椅子”这样的类别提示无法对应到某一个具体实例,因此论文进一步优化文本嵌入,让它能够重建当前输入形状。随后,系统使用二阶反演轨迹提取与输入几何更对齐的神经特征体积,降低一阶反演带来的偏差。
(图 4:在图像到 3D 与文本到 3D 两种基础模型上构建 CNS。文本分支额外进行潜变量细化,以匹配具体输入实例。)
(3)把编辑动作“翻译”成可优化目标
复制、删除、缩放等操作表面上各不相同,在 CNS 中却可以统一描述为两样东西:需要修改的一组空间坐标,以及这些坐标应该匹配的目标特征值。模型根据这个目标迭代更新 F,并通过二者的耦合关系同步更新 z。这样既能跟随用户的局部指令,又能借助生成模型的先验保持结构完整。
(4)给未编辑区域上“双保险”
局部目标的梯度可能通过全局潜变量扩散到整个形状,出现“只动一片叶子,其他叶子也跟着变”的情况。为此,CNS-Edit++ 同时使用两道保护:潜特征正则化直接约束未编辑区域的特征不要偏离原形;KV-cache 替换则在解码阶段复用原始生成轨迹中保护区的 Key/Value 特征,减少编辑影响向外传播。
(图 5:没有区域级控制时,拖拽会波及其他叶片;加入双重保护后,变化被限制在目标区域附近。)
实验结果
论文在 ShapeNet、ABC、SMPL 和 Objaverse 上进行评估。类别特定设置包含 25 个椅子和 25 个飞机编辑案例;类别无关设置分别为点拖拽和删除操作构建了 50 个案例,覆盖 Objaverse 中 20 个不同类别。
评估不仅考察 FID、KID 等视觉质量指标,还邀请 10 名参与者从 1 到 5 分评价结果质量(QS)与操作匹配度(MS)。这一设计同时回答两个问题:结果看起来是否自然,以及它是否真的按照用户要求完成了编辑。
点拖拽:在类别无关设置中,基于 TRELLIS-image 的 CNS-Edit++ 取得 FID 69.11、KID 0.0227、QS 4.4、MS 4.1,四项指标均优于 APAP、MVDrag3D 和 DragFlow。对比图中,基线方法常出现结构崩坏、拖错位置或细节丢失,而本文方法能够更稳定地把源点移动到目标位置。
(图 6:类别无关点拖拽对比。CNS-Edit++ 更准确地跟随拖拽指令,同时维持形状完整性。)
删除操作:基于 TRELLIS-image 的版本取得 FID 80.03、KID 0.0381、QS 4.2、MS 4.4;作为对比,VoxHammer 的对应结果为 100.37、0.0618、3.8 和 3.0。模型不仅能移除被选中的部件,也更好地保住其余几何。
(图 7:类别无关删除操作对比。本文方法移除目标区域更干净,未编辑部分也更完整。)
骨干通用性:同一套 CNS 思路可以运行在 TRELLIS-image、TRELLIS-text 与 Direct3D-S2-image 上。不同输入条件、不同生成架构下都能完成有效编辑,说明 CNS-Edit++ 并不是只为某一个模型“量身定做”的外挂。
(图 8:CNS-Edit++ 在 TRELLIS 图像条件、TRELLIS 文本条件和 Direct3D-S2 图像条件模型上的编辑结果。)
消融实验也验证了关键组件缺一不可。完整模型的 FID/KID 为 69.11/0.0227;移除二阶反演后变为 104.73/0.0579,移除 KV-cache 替换后为 88.56/0.0416,移除潜特征正则化后为 95.28/0.0493。视觉上,缺少二阶反演会降低输入保真度,而少了任一种区域保护机制,都可能让编辑影响扩散到未选区域。
(图 9:二阶反演、KV-cache 替换和潜特征正则化的消融对比。完整系统更忠实,也更能保护未编辑区域。)
效率方面,CNS 优化本身在三个骨干上每个操作都少于 10 秒;总耗时仍主要由基础模型解码决定,类别特定扩散模型、TRELLIS 与 Direct3D-S2 的形状生成时间分别约为 1 分钟、30 秒和 20 秒。
总结 & 限制性
CNS-Edit++ 把 3D 编辑中长期存在的两难——“全局语义”与“局部可控”——装进了一套耦合表示。全局潜变量负责让结果看起来仍像一个合理物体,神经特征体积负责让操作准确落在用户指定的位置;二阶反演和区域保护机制则进一步提升输入保真度,减少对未编辑区域的干扰。
当然,这套“3D 微创手术”还没有解决所有问题。当前方法主要编辑几何,尚未同步处理纹理;编辑算子也没有显式考虑物体功能与物理约束,因此几何上合理的结果未必功能可用。框架目前聚焦单个物体,未来还可以扩展到场景、城市和 4D 动态序列,并结合智能体实现更自动化的编辑。最后,CNS 优化已经较快,但整体速度仍受基础模型解码限制。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论