今日应用
今日话题
CVPR 2024 | 分割一切模型SAM泛化能力差?域适应策略给解决了
重点标签 域适应、图像分割、弱监督、自训练、Segment Anything
文章摘要
本文介绍了一种针对Segment Anything Model (SAM)的域适应策略,旨在提高SAM在多个下游任务中的鲁棒性和泛化能力。SAM作为先进的图像分割基础模型,在医学图像、伪装物体等领域存在泛化问题。针对这一问题,研究者提出了一种弱监督自训练架构,结合锚点正则化和低秩微调,以提高自适应的鲁棒性和计算效率。
该方法通过无源域的自训练策略避免对源数据的依赖,利用冻结的source model作为锚定网络规范模型更新。同时,通过低秩权重分解降低内存成本,并引入弱监督(如box、point等标签)提供更强的域适应信息。实验结果表明,该方法在多种下游任务中均优于预训练的SAM和其他域适应方案。
本文的贡献包括:提出了一种无需源数据的解决方案,通过自训练适应SAM;利用弱监督提高自适应效果;对5种类型的下游实例分割任务进行实验,证明方法有效性。论文和项目地址分别为:[论文地址](https://arxiv.org/pdf/2312.03502.pdf) 和 [项目地址](https://github.com/Zhang-Haojie/WeSAM)。
方法介绍:
1. Segment Anything 模型:由图像编码器、提示编码器和解码器组成,使用MAE预训练并在SA-1B数据集上微调。
2. Source-Free 域适应自训练:采用student-teacher架构,使用伪标签和锚定网络正则化,以及对比损失正则化编码器特征空间。
3. 自训练的 Prompt 生成:使用网格密集采样点和弱监督作为Prompt输入。
4. 低秩权重更新:通过低秩近似更新编码器网络权重,降低内存占用。
实验:
在5种不同类型的下游分割任务上评估,包括清晰的自然图像、添加干扰的自然图像、医学图像、伪装物体和机器人图像。实验结果表明,所提出的方法在各种分布迁移下的泛化能力显著优于预训练的SAM和其他域适应方案。
总结:
研究者针对SAM在下游任务中的泛化问题,提出了一种基于锚点正则化和低秩微调的自训练方法。该方法无需访问源数据集、内存成本低、与弱监督自然兼容,显著提升了SAM在各种分布迁移下的泛化能力。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心