3D点云学习新架构！PointRWKV：刷新点云表征学习性能及FLOPs！

今日应用

AI大学堂

AI大学堂是科大讯飞打造的AI在线学习平台，为各行业各领域的技术人才提供人工智能培训,人工智能学习,编程入门自学,计算机编程入门,Python数据分析等课程，旨在为AI领域开发者、爱好者提供专业的课程、资源及服务支持

今日话题

3D点云学习新架构！PointRWKV：刷新点云表征学习性能及FLOPs！

 

重点标签 点云学习、RWKV算法、Transformer、3D视觉、模型效率

文章摘要

极市导读：本文介绍了一种基于RWKV的算法，该算法在极小的线性复杂度和参数量上达到高效率，并且能够处理多尺度的点云输入。

背景：3D点云分析是自动驾驶、虚拟现实和机器人技术等众多现实应用的基础。现有的点云特征学习方法主要是基于自注意力结构（Transformer）或线性时间序列结构（Mamba）的。然而，基于自注意力结构的算法对计算资源的需求显著增加，而基于线性时间序列结构的算法虽然有效，但原始的单向建模的固有属性阻碍了它们达到卓越的性能。

方法：本文提出了PointRWKV，这是一种线性复杂度的新模型，具有3D点云学习任务所需的适应性。PointRWKV的整体流程包括：多尺度掩蔽策略、轻量级PointNet嵌入、分层局部和全局特征聚合。PointRWKV采用了综合特征调制（IFM）和局部图基合并（LGM）两种策略，以促进局部和全局特征聚合。

实验结果：在ShapeNet上进行自监督预训练后，PointRWKV在ScanObjectNN上实现了93.63%（+4.66%）的整体准确率，在ModelNet40上实现了96.89%（+1.79%）的分类准确率，在ShapeNetPart上实现了90.26%（+3.16%）的实例mIoU，创下了新的最先进（SoTA）。与基于Transformer和Mamba的同类工作相比，PointRWKV的参数减少了13%，FLOP减少了42%。

总结：PointRWKV采用分层架构，通过对多尺度点云进行编码来学习生成强大的3D表示。实验结果表明，PointRWKV在不同的点云学习数据集上表现出优于基于Transformer和Mamba的同类工作的性能，同时显著减少了参数和FLOP。凭借其线性复杂性能力，PointRWKV有望成为更多3D任务的高效且经济高效的基准。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台