今日应用
今日话题
ECCV’24｜图像文本擦除无痕迹！复旦提出EAFormer：最新场景文本分割新SOTA！
重点标签 EAFormer、文本分割、边缘感知、Transformer、场景文本分割
文章摘要
本文介绍了一种名为边缘感知Transformer（EAFormer）的新型文本分割方法，旨在提高场景文本分割任务中文本边缘的准确性。EAFormer通过明确预测文本边缘并利用这些边缘信息指导后续编码器，以实现更精确的文本分割。文章首先对COCO_TS和MLT_S数据集进行了重新标注，以提高实验结果的可靠性。实验结果表明，EAFormer在六个场景文本分割基准上达到了最先进的性能，尤其是在文本边缘区域的表现更为出色。
EAFormer的核心思想是设计了一个文本边缘提取器来检测并滤除非文本区域的边缘，随后通过边缘引导编码器增强模型对文本边缘的关注，最终采用基于MLP的解码器预测文本mask。在提出动机中，作者指出文本边缘对于场景文本分割任务极为重要，尤其是在文本擦除等下游任务中。通过使用预训练的修复模型和不同类型的文本mask进行实验，发现只有提供具有准确边缘分割的文本mask时，修复模型才能生成满意的文本擦除结果。
EAFormer由三个主要模块构成：文本边缘提取器、边缘引导编码器和文本分割解码器。文本边缘提取器使用Canny边缘检测算法获取图像边缘，并通过轻量级文本检测模型过滤非文本区域边缘。边缘引导编码器基于SegFormer框架，通过对称交叉注意力层融合边缘引导信息。文本分割解码器则利用MLP层融合特征并预测文本mask。
在损失函数方面，EAFormer仅使用了文本检测损失和文本分割损失两种交叉熵损失进行优化，简化了超参数选择的复杂性。实验部分，EAFormer在多个数据集上进行了评估，与现有方法相比，在前景交并比（fgIoU）和F值上均有显著提升。消融研究进一步验证了边缘过滤和边缘引导策略的有效性。此外，作者还探讨了使用现成文本检测器的可能性，并指出EAFormer与之前边缘引导方法的区别。
尽管EAFormer在文本分割任务中取得了显著的性能提升，但也存在一些局限性，如轻量级文本检测器可能增加参数数量，以及仅使用Canny算法提取文本边缘。未来，通过引入更先进的边缘检测方法，EAFormer的性能有望进一步提高。总体而言，EAFormer为场景文本分割任务提供了一种有效的边缘感知解决方案，对提高文本边缘的分割精度具有重要意义。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
