2025年4月13日星期日

图生3D新SOTA!港中文&字节&清华联合提出Hi3DGen :通过法线桥接从图像生成高保真 3D 几何图形。




香港中文大学联合字节跳动和清华大学提出Hi3DGen,这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen 由图像到法线估计器、法线到几何学习方法以及三维数据合成流程三个关键组件组成。可以生成高保真的丰富几何细节,为从图像生成高保真 3D 几何图形提供了新的方向。

相关链接、

  • 论文:https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf
  • 主页:https://stable-x.github.io/Hi3DGen/
  • 代码:https://github.com/Stable-X/Hi3DGen
  • 试用:https://huggingface.co/spaces/Stable-X/Hi3DGen

论文介绍


Hi👋3DGen:通过法线桥接从图像生成高保真 3D 几何体

随着从二维图像构建高保真三维模型的需求日益增长,现有方法由于域间隙的限制以及 RGB 图像固有的模糊性,在精确再现细粒度几何细节方面仍然面临巨大挑战。为了解决这些问题,作者提出了 Hi3DGen,这是一个通过法线桥接从图像生成高保真三维几何体的全新框架。Hi3DGen 由三个关键组件组成:

  1. 图像到法线估计器,通过噪声注入和双流训练将低高频图像模式解耦,以实现可泛化、稳定且精准的估计;
  2. 法线到几何学习方法,利用法线正则化的潜在扩散学习来增强三维几何体生成的保真度;
  3. 三维数据合成流程,构建高质量数据集以支持训练。

大量实验证明了该框架在生成丰富几何细节方面的有效性和优越性,在保真度方面超越了最先进的方法。Hi3DGen工作利用法线贴图作为中间表示,为从图像生成高保真 3D 几何图形提供了新的方向。

方法

第一阶段:图像到法线估计。

左图:噪声注入回归法线估计(NiRNE)示意图;右图:实域数据中高频区域的噪声标签。

第二阶段:法线到几何体的生成。

正则化潜在扩散( NoRLD )的示意图。

所提出的DetailVerse数据集的构建流程,该数据集包含高质量的合成 3D 素材,用于支持 Hi3DGen 的训练。该流程包含三个步骤:文本提示收集、图像生成和 3D 素材合成。

结果展示

定性比较

图像到 3D 生成结果

与其他方法的比较

更多结果

感谢你看到这里,也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群,一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术,欢迎一起交流学习💗~


没有评论:

发表评论

2026淘宝联盟年度榜单揭晓 两类新玩家正在改写淘客格局

本文解读淘宝联盟2026年度优秀合作伙伴榜单,重点拆解手机厂商流量型与广告媒体投流型两类新玩家,剖析其资源迁移打法与头部格局变化。对想入局淘客的新人,建议结合所在城市的产业圈子选赛道,并重视自身流量资源与能力的长期积累。 Tags: 淘宝联盟 淘客榜单 手机厂商流量 ...