今日应用
今日话题
ECCV’24｜比DragDiffusion快100倍！港大&牛津提出RegionDrag：快准好的图像编辑方法！
重点标签 RegionDrag、图像编辑、基于区域、复制粘贴、性能优越
文章摘要
RegionDrag：一种高效的基于区域的图像编辑方法
RegionDrag是一种创新的图像编辑技术，它通过基于区域的复制粘贴拖拽方法，解决了传统基于点拖拽编辑中的局限性，如计算开销大和用户意图误解。该方法允许用户通过操作区和目标区的形式表达编辑指令，实现更精确的控制并减少模糊性。RegionDrag利用无梯度的复制粘贴操作，显著提高了编辑速度，同时引入了注意力交换技术增强编辑过程的稳定性。
编辑效果显著提升
RegionDrag的编辑过程包括两个主要步骤：首先复制操作区覆盖的潜在表示并存储自注意力特征，然后将复制的表示粘贴到目标位置，并在去噪过程中插入存储的自注意力特征。与传统基于点拖拽方法相比，RegionDrag在512×512分辨率的图像上完成编辑的时间少于2秒，比DragDiffusion快了100倍以上，同时保持了性能的优越性。
实验结果验证优势
实验结果显示，RegionDrag在速度、准确性和与用户意图的对齐方面均优于现有的基于点拖拽的方法。通过扩展现有的基于点拖拽数据集，添加了基于区域拖拽的指令，为基于区域的编辑方法提供了基准。RegionDrag在定量评估中使用LPIPS和平均距离作为指标，表现出在不同数据集上实现竞争性编辑结果的卓越性能，同时在效率方面也表现出色。
消融研究确认优势
消融研究进一步证明了RegionDrag的优势。通过在DragBench-DR数据集上进行测试，逐渐减少所选点的百分比，观察对平均距离指标的影响，结果表明稀疏点输入对输出的约束较弱，导致编辑结果不令人满意。这证实了采用基于区域的输入的好处。
结论
RegionDrag作为一种高效且有效的基于区域的编辑框架，通过复制和粘贴图像的潜在表示和自注意力特征，实现了单步编辑，提供了卓越的效率和优越的编辑性能。此外，基于现有数据集引入了两个新的基准测试，DragBench-SR和DragBench-DR，用于评估基于区域的编辑，实验结果一致证明了RegionDrag在效率和编辑性能上的卓越表现。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
