浙江大学开源前馈式单图3D高斯泼溅重建框架InfiniSplat,支持纯RGB与LiDAR深度双模式,通过几何引导采样与隐式解码解决大视角切换场景撕裂问题,提供代码与在线演示。
Tags:传统单图3D高斯重建易出现视角切换撕裂破洞。InfiniSplat通过几何引导采样,实现大基线下稳定的新视角合成。
单图像3D高斯泼溅(3DGS)重建一直存在明显痛点,多数方案将高斯基元绑定固定图像像素网格,当相机视角发生大幅度转动时,场景容易出现裂缝、孔洞、表面破碎,难以完成大基线新视角渲染。
浙江大学ZJU3DV团队开源InfiniSplat,提出几何引导支持采样+查询式隐式高斯解码的前向推理框架,不再受像素网格限制,让高斯基元贴合物体真实表面分布。项目提供RGB纯图像、RGB+LiDAR深度两种模型权重,配套推理代码与HuggingFace在线Demo,在多个公开数据集上取得SOTA效果,对AR/VR、数字内容快速重建具备很高实用价值。
相关链接
论文地址:https://arxiv.org/abs/2608.02437 代码仓库:https://github.com/zju3dv/InfiniSplat 项目主页:https://zju3dv.github.io/InfiniSplat 模型权重:https://huggingface.co/PLUS-WAVE/InfiniSplat 在线 Demo:https://huggingface.co/spaces/PLUS-WAVE/InfiniSplat
内容介绍
InfiniSplat 是面向单图像的前馈式3D高斯泼溅重建开源框架,目标解决单图输入情况下,大基线视角切换带来的场景破碎问题。
现有很多单图转3DGS方法,高斯元严格对应输入图片像素位置,本质是2D贴图向3D空间简单膨胀。一旦相机离开原始拍摄角度,就很容易产生破洞、扭曲、法线混乱,很难做自由漫游浏览。
InfiniSplat提供两套实用推理模式:
纯RGB模式:仅输入一张普通RGB图片,直接输出3D高斯泼溅场景; LiDAR深度引导模式:RGB搭配深度图输入,进一步提升几何结构的准确性。
开发者可以本地运行代码,也可以直接访问HuggingFace在线Demo快速体验。输出得到的3DGS结果可直接导入主流3DGS查看器,用于快速数字资产生成、虚拟预览、AR素材制作等场景,无需耗时的传统优化拟合过程,一步前向推理完成重建。
方法概述
InfiniSplat核心分为几何引导支持采样和查询条件隐式高斯解码两大模块,彻底解除高斯元与图像像素网格的强绑定关系。
几何引导支持采样:不再直接在图像像素位置生成高斯。先预测场景深度信息,依据深度推导物体表面结构,在物体三维表面上自由采样生成支持点。支持点分布跟随真实几何,而不是死板的图像网格。 查询‑条件隐式高斯解码:拿到表面上的支持点之后,以每个3D点作为查询,输入隐式解码器,预测该位置完整高斯属性:位置偏移、颜色、不透明度、缩放、旋转等参数。实现“点位置自由,属性网络预测”。 双模式推理设计 RGB模式:完全依靠图像本身预测深度,完成整套采样‑解码流程; LiDAR模式:使用外部深度输入作为几何先验,采样质量进一步提升。 前馈推理范式:整个流程是单次网络前向传播,不需要迭代优化,输入图片立刻输出完整3D高斯场景,兼顾推理速度。
这套设计把高斯基元从像素网格中解放,让高斯元贴合物体真实表面,因此在视角大幅度变化时,表面更加连贯,裂缝和孔洞显著减少。
实验结果
研究团队在 ETH3D、ScanNet++、Tanks and Temples、DL3DV多个数据集开展跨数据集评测,对比多种前馈式单图3DGS基线方案,取得SOTA表现。
大基线视角稳定性提升:相比像素对齐类基线,大幅度转动相机视角,生成场景裂缝、孔洞明显变少,物体表面、法线组织更加干净连贯,漫游渲染效果更自然。 两套模型各有所长:纯RGB模型仅靠图片即可输出可用3DGS;LiDAR深度引导版本几何精度进一步拔高,适合有深度传感器的采集设备。 跨数据集泛化能力强:在室内、室外多种类型场景上都保持稳定输出,不需要针对每一类场景做微调。
实用性验证:输出标准3D高斯泼溅格式,兼容市面上绝大多数3DGS渲染查看工具,普通开发者可直接复用做下游二次开发。
消融实验也验证,几何引导采样+隐式解码两个模块缺一不可,共同促成表面对齐的重建效果。
结论
InfiniSplat打破传统单图3D高斯重建“像素绑定”的固有思路,通过几何引导采样和查询式隐式高斯解码,实现面向大基线视角切换的单图像3D高斯泼溅重建。
它证明单图前馈式3DGS可以走向真正贴合物体表面的表示,而不只是简单的贴图膨胀。项目开源完整推理代码、两套模型权重以及在线演示,降低了快速生成3D高斯资产的门槛。
该工作对单图3D重建、数字资产快速生成、AR虚拟内容创作都具备很高的参考与落地价值;同时也指出当前方案依然依赖深度先验质量,后续可以结合更强生成先验进一步拓展能力边界。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~
没有评论:
发表评论