今日应用
今日话题
ECCV’24｜清华AIR ModelMerging：无需训练数据！合并多个模型实现任意场景的感知
重点标签 模型融合策略、多目标域自适应、无需训练数据、清华大学AIR、自动驾驶场景
文章摘要
本文介绍了一种新颖的模型融合策略，由清华大学智能产业研究院（AIR）的赵昊助理教授团队联合戴姆勒公司提出，旨在解决多目标域自适应（MTDA）问题，且无需依赖训练数据。该策略通过“Merging Parameters + Merging Buffers”的方式，在不访问训练数据的情况下，实现了与多目标域数据混合训练相当的结果，对自动驾驶场景尤为关键。
研究团队首先指出，传统的监督学习方法在自动驾驶场景中受限于大量人力标注的像素级注释，因此多目标域自适应变得尤为重要。MTDA的目标是在训练期间利用来自多个目标域的无标签数据以及源域的有标签合成数据，增强模型在不同目标域上的鲁棒性。然而，现有方法的一个限制是需要同时使用所有目标数据，这在数据传输成本和隐私保护方面是不切实际的。
为了解决这一问题，研究团队提出了一种新的解决方案，即在只能获得各自独立训练的模型的情况下，通过某种融合方式，将这些模型集成为一个能够适用于各个目标域的模型。具体方法包括两个阶段：首先从针对不同单目标域的无监督域自适应模型中得到训练后的感知模型，然后在不获取任何训练数据的条件下，只对模型进行合并，得到一个在多目标域都能工作的感知模型。
在方法部分，研究团队详细介绍了Merging Parameters和Merging Buffers的技术细节和研究动机。Merging Parameters主要关注如何将模型之间可学习层的weight和bias合并，而Merging Buffers则关注如何有效地合并批量归一化（BN）层的参数，这些参数与数据域密切相关。
实验结果表明，该模型融合方法在MTDA任务上与几种baseline模型相比具有显著优势，能够在不访问任何训练数据的情况下实现卓越的性能。此外，该方法在多目标域拓展和消融实验中也表现出良好的性能和有效性。研究团队期待这一模型融合策略能够激发未来更多关于多目标域自适应领域的探索。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
