通过跨领域监督信号来引导注意力,用于场景文本识别

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 场景文本识别由于文本的变化,不规则性和扭曲而面临挑战.
• 以注意力为基础的方法是主流的,但受到注意力漂移的影响,导致识别错误.
• 现有的方法主要解决解码错误,忽略编码过程中累积的错误.

研究的目的:

• 提出一个新的方案,通过跨领域监控信号来引导注意力,用于场景文本识别 (ACDS-STR),以减轻注意力漂移.
• 为了解决在场景文本识别中的特征编码过程中积累的错误.

主要方法:

• 引入了跨域注意力指导和特征编码融合模块 (CAFM),用于在编码过程中使用字符核心区域指导注意力.
• 开发了一个非基于注意力的自适应转换解码器 (ATD),以提高解码性能和速度.
• 在培训期间融合手动和主观学习,以确定角色核心领域,提高模型性能.

主要成果:

• 拟议的ACDS-STR方案有效地减轻了特征编码阶段的注意力偏移.
• 该CAFM模块提供精确的注意力信息,改进了编码过程.
• ATD解码器确保了强大的解码性能和更快的处理速度.
• 对公共基准的实验证明了最先进的性能.

结论:

• 通过解决编码阶段的注意力偏移,ACDS-STR显著提高了场景文本识别.
• 在CAFM和ATD的组合提供了一个强大的方法,用于准确和高效的场景文本识别.
• 拟议的培训策略有效地改善了角色核心领域的学习和整体模型性能.