今日应用
今日话题
ECCV 2024｜LiSe：已开源，澳门大学提出使用2D场景扩展无监督3D目标检测
重点标签 无监督3D目标检测、LiDAR-2D自适应学习、自适应采样策略、弱模型聚合、远小物体检测
文章摘要
本文介绍了一种名为LiSe的新型无监督3D目标检测方法，该方法通过结合激光雷达数据与2D图像，利用2D场景中的丰富语义信息来增强3D目标检测的性能，特别是在检测远距离和小型物体方面。LiSe框架采用自适应采样策略和弱模型聚合技术，以提高对难样本的识别能力。在nuScenes和Lyft数据集上的实验结果显示，LiSe在多个评估指标上均优于现有技术，尤其在远距离检测方面表现出色。
摘要：
无监督3D目标检测任务在没有明确监督信号的情况下进行，常因激光雷达点云的稀疏性和分辨率限制而难以检测远处或小型物体。LiSe方法首次尝试结合激光雷达数据与2D图像，利用RGB图像在激光雷达点稀少时提供2D定位线索。框架中包括自适应采样和弱模型聚合策略，通过动态调整伪标签分布和整合不同模型的优势，以实现平衡学习并提升对难样本的识别。
介绍：
LiSe方法通过结合激光雷达和2D图像数据，旨在克服激光雷达在远距离和小型物体检测上的局限。该方法使用多次遍历技术生成3D伪标签，并应用自适应训练策略优化预测。自适应采样策略根据模型反馈动态调整训练数据分布，弱模型聚合则融合不同快照权重形成最终模型。
方法：
– 激光雷达数据与2D场景的融合：通过点持续性得分和聚类过程从激光雷达数据中提取物体，同时使用2D检测器从图像中识别物体并估计3D框，最后采用距离感知策略增强伪框融合。
– 自适应采样策略：基于距离-体积度量方法，动态平衡不同物体，对易检测样本进行下采样，对难检测样本进行上采样。
– 弱模型聚合：将不同轮次训练得到的模型（弱模型）聚合，生成一个更稳健的模型。
– 基于伪标签的自适应学习：包括种子训练和自训练阶段，通过迭代过程使用自适应采样和弱模型聚合优化模型。
实验：
在nuScenes和Lyft数据集上的实验结果表明，LiSe在AP_BEV和AP_3D等指标上显著优于现有技术，特别是在远距离检测方面，其性能甚至超过了完全监督模型。
结论：
LiSe框架通过融合2D场景信息、自适应采样策略和弱模型聚合，有效提升了无监督3D目标检测的性能，尤其在远距离和小型物体检测上。实验结果验证了该方法的优越性和广泛适用性，为未来2D与3D数据融合在无监督3D目标检测中的研究提供了新的方向。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
