今日应用
今日话题
CVPR 2024 | 分割一切模型SAM泛化能力差？域适应策略给解决了
重点标签 域适应、图像分割、弱监督、自训练、Segment Anything
文章摘要
本文介绍了一种针对Segment Anything Model (SAM)的域适应策略，旨在提高SAM在多个下游任务中的鲁棒性和泛化能力。SAM作为先进的图像分割基础模型，在医学图像、伪装物体等领域存在泛化问题。针对这一问题，研究者提出了一种弱监督自训练架构，结合锚点正则化和低秩微调，以提高自适应的鲁棒性和计算效率。
该方法通过无源域的自训练策略避免对源数据的依赖，利用冻结的source model作为锚定网络规范模型更新。同时，通过低秩权重分解降低内存成本，并引入弱监督（如box、point等标签）提供更强的域适应信息。实验结果表明，该方法在多种下游任务中均优于预训练的SAM和其他域适应方案。
本文的贡献包括：提出了一种无需源数据的解决方案，通过自训练适应SAM；利用弱监督提高自适应效果；对5种类型的下游实例分割任务进行实验，证明方法有效性。论文和项目地址分别为：[论文地址](https://arxiv.org/pdf/2312.03502.pdf) 和 [项目地址](https://github.com/Zhang-Haojie/WeSAM)。
方法介绍：
1. Segment Anything 模型：由图像编码器、提示编码器和解码器组成，使用MAE预训练并在SA-1B数据集上微调。
2. Source-Free 域适应自训练：采用student-teacher架构，使用伪标签和锚定网络正则化，以及对比损失正则化编码器特征空间。
3. 自训练的 Prompt 生成：使用网格密集采样点和弱监督作为Prompt输入。
4. 低秩权重更新：通过低秩近似更新编码器网络权重，降低内存占用。
实验：
在5种不同类型的下游分割任务上评估，包括清晰的自然图像、添加干扰的自然图像、医学图像、伪装物体和机器人图像。实验结果表明，所提出的方法在各种分布迁移下的泛化能力显著优于预训练的SAM和其他域适应方案。
总结：
研究者针对SAM在下游任务中的泛化问题，提出了一种基于锚点正则化和低秩微调的自训练方法。该方法无需访问源数据集、内存成本低、与弱监督自然兼容，显著提升了SAM在各种分布迁移下的泛化能力。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心
相关文章
