CVPR24 最佳学生论文：实现3DGS新突破，任意尺度无锯齿渲染！

今日应用

花火数据

今日话题

CVPR24 最佳学生论文：实现3DGS新突破，任意尺度无锯齿渲染！

 

重点标签 Mip-Splatting技术、三维高斯抛雪球、无锯齿渲染、三维平滑滤波器、二维Mip滤波器

文章摘要

本文介绍了Mip-Splatting技术，它是对三维高斯抛雪球技术的改进，通过引入三维平滑滤波器和二维Mip滤波器，实现了在任意比例下进行无锯齿渲染。这种技术特别适用于需要高保真度和高效率的三维场景渲染，如虚拟现实、电影摄影和机器人等领域。

1. 摘要
Mip-Splatting技术解决了传统三维高斯抛雪球技术在改变采样率时出现的伪影问题。作者发现，这种现象的原因在于缺乏三维频率约束和使用了二维空洞滤波器。为了克服这些问题，作者引入了三维平滑滤波器，限制了高斯基元的最大频率，以适应训练图像的采样约束。同时，用二维Mip滤波器代替了二维空洞滤波器，有效缓解了锯齿和扩张问题。

2. 相关工作
Mip-Splatting技术与新颖视图合成（NVS）紧密相关，NVS在计算机图形学和计算机视觉中具有重要应用。NeRF作为一种重要的NVS方法，通过多层感知器（MLP）有效地表示几何形状和视图相关的外观特征。3DGS作为MLP和基于特征网格的表示方法的替代，因其高效的渲染和高分辨率的实时渲染而受到关注。

3. 采样定理
采样定理是信号处理和数字通信中的基本概念，描述了从离散样本中准确重构连续信号的条件。要满足这些条件，必须对信号进行低通或抗锯齿滤波，以消除高于奈奎斯特频率的频率成分。

4. 3D Gaussian Splatting
3DGS将三维场景表示为一组缩放的三维高斯基元，并通过体积拼接渲染图像。每个高斯的属性通过多视角光度损失进行优化。在渲染过程中，应用二维空洞操作进行低通滤波。

5. 对采样率的敏感性
3DGS在优化过程中系统性地低估了三维高斯的尺度参数，导致在放大或拉近摄像机时产生侵蚀效果。为了解决这个问题，作者提出了在三维空间中对三维表示进行正则化处理的方法。

6. Mip高斯抛雪球
Mip-Splatting技术通过引入三维平滑滤波器和二维Mip滤波器，有效地限制了高斯基元的最大频率，并近似了物理成像过程中的盒式滤波器，从而实现了无锯齿渲染。

7. 实验
作者在Blender数据集和Mip-NeRF 360数据集上进行了详细实验，验证了Mip-Splatting技术在多尺度训练和测试、单尺度训练和多尺度测试等场景下的有效性。实验结果表明，Mip-Splatting在性能上与最先进的方法相媲美，并且在分布外场景中的表现优于现有技术。

8. 总结
Mip-Splatting技术通过引入三维平滑滤波器和二维Mip滤波器，实现了在任意比例下的无锯齿渲染。这项技术在保持高保真度和高效率的同时，有效解决了传统三维高斯抛雪球技术在改变采样率时出现的伪影问题，为三维场景渲染提供了一种新的解决方案。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台