英伟达也对 Mamba下手了 ，视觉 Transformer 与 Mamba 的完美融合 ！

今日应用

AI大学堂

AI大学堂是科大讯飞打造的AI在线学习平台，为各行业各领域的技术人才提供人工智能培训,人工智能学习,编程入门自学,计算机编程入门,Python数据分析等课程，旨在为AI领域开发者、爱好者提供专业的课程、资源及服务支持

今日话题

英伟达也对 Mamba下手了 ，视觉 Transformer 与 Mamba 的完美融合 ！

 

重点标签 MambaVision、混合架构、Transformer、图像分类、目标检测

文章摘要

MambaVision的核心贡献在于其创新的架构设计，它结合了Mamba和Transformer的优势，通过在最后几层加入自注意力块，有效提升了捕获长距离空间依赖关系的建模能力。作者还对Mamba和Transformer块的集成模式进行了系统性的研究，证明了在最后阶段整合自注意力块可以显著提高模型性能。

在ImageNet-1K数据集上的图像分类任务中，MambaVision模型变体实现了Top-1准确率和图像吞吐量的新SOTA帕累托前沿。例如，MambaVision-B在Top-1准确率达到了84.2%，超过了ConvNeXt-B（83.8%）和Swin-B（83.5%），同时在图像吞吐量上也有显著优势。在MS COCO数据集上的目标检测和实例分割任务中，使用MambaVision作为Backbone的模型在box AP和mask AP方面均优于同等大小的对应模型。在ADE20K数据集上的语义分割任务中，MambaVision同样展现了出色的性能，超越了竞争模型。

作者还对MambaVision的标记混合器进行了全面的消融研究，验证了设计选择的有效性。通过修改现有的Mamba模块以适应计算机视觉任务，并在不同任务上评估其性能，作者证明了MambaVision在分类、目标检测、实例分割和语义分割等任务上的优越性。

总之，MambaVision作为一种新型的混合Mamba Transformer模型，通过其创新的架构设计和混合集成模式，为视觉任务提供了一种高效的解决方案。其在多个数据集和任务上的卓越性能，证明了其作为有效Backbone网络的潜力和多功能性。作者希望MambaVision能够成为新型混合视觉模型的基础，推动计算机视觉领域的发展。

摘要：MambaVision是一种新型的混合Mamba-Transformer架构，专门为视觉应用设计，通过重新设计的Mamba公式和混合架构的集成模式，显著提升了图像分类、目标检测和语义分割等视觉任务的性能。在ImageNet-1K数据集上，MambaVision在Top-1准确率和图像吞吐量方面达到了新的最先进水平，超越了同等大小的架构。此外，在MS COCO和ADE20K数据集上的下游任务中，MambaVision也展示了更优的性能。

创新点：MambaVision的核心贡献在于其创新的架构设计，它结合了Mamba和Transformer的优势，通过在最后几层加入自注意力块，有效提升了捕获长距离空间依赖关系的建模能力。作者还对Mamba和Transformer块的集成模式进行了系统性的研究，证明了在最后阶段整合自注意力块可以显著提高模型性能。

性能表现：在ImageNet-1K数据集上的图像分类任务中，MambaVision模型变体实现了Top-1准确率和图像吞吐量的新SOTA帕累托前沿。例如，MambaVision-B在Top-1准确率达到了84.2%，超过了ConvNeXt-B（83.8%）和Swin-B（83.5%），同时在图像吞吐量上也有显著优势。在MS COCO数据集上的目标检测和实例分割任务中，使用MambaVision作为Backbone的模型在box AP和mask AP方面均优于同等大小的对应模型。在ADE20K数据集上的语义分割任务中，MambaVision同样展现了出色的性能，超越了竞争模型。

消融研究：作者还对MambaVision的标记混合器进行了全面的消融研究，验证了设计选择的有效性。通过修改现有的Mamba模块以适应计算机视觉任务，并在不同任务上评估其性能，作者证明了MambaVision在分类、目标检测、实例分割和语义分割等任务上的优越性。

结论：总之，MambaVision作为一种新型的混合Mamba Transformer模型，通过其创新的架构设计和混合集成模式，为视觉任务提供了一种高效的解决方案。其在多个数据集和任务上的卓越性能，证明了其作为有效Backbone网络的潜力和多功能性[MambaVision/混合架构/Transformer/图像分类/目标检测]

摘要：
MambaVision是一种新型的混合Mamba-Transformer架构，专门为视觉应用设计，通过重新设计的Mamba公式和混合架构的集成模式，显著提升了图像分类、目标检测和语义分割等视觉任务的性能。在ImageNet-1K数据集上，MambaVision在Top-1准确率和图像吞吐量方面达到了新的最先进水平，超越了同等大小的架构。此外，在MS COCO和ADE20K数据集上的下游任务中，MambaVision也展示了更优的性能。

创新点：
MambaVision的核心贡献在于其创新的架构设计，它结合了Mamba和Transformer的优势，通过在最后几层加入自注意力块，有效提升了捕获长距离空间依赖关系的建模能力。作者还对Mamba和Transformer块的集成模式进行了系统性的研究，证明了在最后阶段整合自注意力块可以显著提高模型性能。

性能表现：
在ImageNet-1K数据集上的图像分类任务中，MambaVision模型变体实现了Top-1准确率和图像吞吐量的新SOTA帕累托前沿。例如，MambaVision-B在Top-1准确率达到了84.2%，超过了ConvNeXt-B（83.8%）和Swin-B（83.5%），同时在图像吞吐量上也有显著优势。在MS COCO数据集上的目标检测和实例分割任务中，使用MambaVision作为Backbone的模型在box AP和mask AP方面均优于同等大小的对应模型。在ADE20K数据集上的语义分割任务中，MambaVision同样展现了出色的性能，超越了竞争模型。

消融研究：
作者还对MambaVision的标记混合器进行了全面的消融研究，验证了设计选择的有效性。通过修改现有的Mamba模块以适应计算机视觉任务，并在不同任务上评估其性能，作者证明了MambaVision在分类、目标检测、实例分割和语义分割等任务上的优越性。

结论：
总之，MambaVision作为一种新型的混合Mamba Transformer模型，通过其创新的架构设计和混合集成模式，为视觉任务提供了一种高效的解决方案。其在多个数据集和任务上的卓越性能，证明了其作为有效Backbone网络的潜力和多功能性。

文章来源

原文地址: 点我阅读全文
原文作者: 极市平台