今日应用
今日话题
ACM MM2024｜多模态不可学习样本：保护数据免受多模态对比学习的威胁
重点标签 多模态数据保护、图像-文本对、不可学习样本、多模态对比学习、隐私风险
文章摘要
在本文中，作者团队来自中科院信工所、南洋理工大学、新加坡国立大学和中山大学，他们专注于多模态数据保护，尤其是图像-文本对，并提出了一种新颖的方法来生成多模态不可学习样本，以防止多模态对比学习中的隐私风险。多模态对比学习，如CLIP模型，通过从互联网抓取的大量图像-字幕对中学习，虽然在零样本分类方面取得了显著进展，但也带来了隐私泄露的风险。为了应对这一问题，作者们提出了多步误差最小化（MEM）方法，这是一种优化过程，通过在图像中添加噪声和文本触发器来生成不可学习样本，从而误导模型学习噪声特征和文本触发器之间的捷径。
研究背景：随着多模态学习的兴起，多模态对比学习成为了重要方法，但这些模型的训练依赖于大量可能包含敏感个人信息的多模态数据，引发了隐私泄露的担忧。作者们考虑了生成多模态不可学习样本以应对与多模态对比学习相关的隐私风险。
动机：现有的不可学习样本方法主要针对图像分类，而在多模态对比学习中尚未得到充分探索。作者们发现，这些方法在多模态数据上的保护效果不佳，因此提出了MEM方法。
方法：MEM方法基于误差最小化（EM）框架，通过优化图像噪声和文本触发器来生成不可学习样本。使用投影梯度下降（PGD）解决噪声最小化问题，并使用HotFlip方法优化文本触发器。
实验效果：实验结果表明，MEM方法在不同数据集上提供了强大的保护，将检索性能降低到几乎是随机猜测的一半。此外，MEM方法在不同模型之间具有高度的可转移性。可视化分析也验证了MEM方法的有效性。
案例探讨：作者们还探讨了将MEM方法应用于保护社交媒体平台上的个人人脸图像和相关信息的场景，实验结果表明MEM可以防止微调模型学习人脸和姓名特征之间的相关性。
结语：本文探索了多模态数据保护，特别是图像-文本对，并引入了MEM方法来生成多模态不可学习样本。这种方法有效地在噪声和文本触发器之间建立了捷径，并展示了在不同黑客模型之间的可转移性。作者们的工作为多模态数据保护提供了新的方向，并可能适用于其他模态对，如音频-文本和音频-图像对。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
