今日应用
今日话题
3D分割里程碑！SAM2Point联合SAM2，首次实现任意3D场景，任意Prompt的分割！
文章摘要
本文介绍了一种名为SAM2POINT的新型3D分割方案，该方案基于Segment Anything Model 2（SAM 2）构建，实现了无需投影到2D的高效零样本3D分割。SAM2POINT通过将3D数据体素化为视频格式，避免了2D至3D投影的复杂性，同时保留了丰富的空间信息。该方法支持3D点、3D框和3D Mask三种提示类型，实现了灵活的交互式分割，增强了3D分割的精确度和适应性。SAM2POINT在多种3D场景中表现出优越的泛化能力，包括单个物体、室内场景、室外场景和原始激光雷达数据，显示了良好的跨领域转移能力。
SAM2POINT的创新之处在于其直接将3D数据解释为一系列多方向视频，利用SAM2进行3D空间分割，无需进一步训练或2D至3D投影。这种方法不仅提高了效率，还避免了因投影导致的3D空间信息退化。此外，SAM2POINT支持的多种提示类型，使得用户能够以更直观的方式与模型交互，提高了分割的精确度。
在多个3D数据集上的演示，如Objaverse、S3DIS、ScanNet、Semantic3D和KITTI，突出了SAM2POINT的强大泛化能力。这些数据集涵盖了从单个物体到复杂场景的多种3D结构，验证了SAM2POINT在不同领域的适用性。
文章还探讨了如何将2D基础模型适应到3D领域的问题，指出了现有方法的局限性，并提出了通过体素化将3D数据表示为视频的可能解决方案。这种方法为2D模型提供了一种可以直接处理的基于网格的数据格式，同时保留了3D空间的几何结构。
最后，文章讨论了SAM2POINT在3D领域的潜力，包括作为3D理解的统一初始化主干、自动数据标注工具、跨2D、3D和视频领域的联合嵌入空间，以及作为3D大语言模型的3D编码器的可能性。这些应用前景表明，SAM2POINT不仅在3D分割领域具有重要意义，还可能推动多模态学习的发展。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
