指令引导的场景文本识别

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 多模式模型在视觉识别方面表现出色,但由于构成差异,在场景文本识别 (STR) 中遇到了困难.
• 现有的STR模型在理解自然场景中的文本细微差别方面面临挑战.

研究的目的:

• 提出一个新的指令引导场景文本识别 (IGTR) 范式.
• 通过专注于字符属性预测来适应STR的指令学习.
• 开发一个灵活高效的STR系统.

主要方法:

• 制定STR作为一个指令学习问题.
• 使用三重指令来描述字符属性 (例如频率,位置).
• 开发一个轻量级的指令编码器,交叉模式的功能融合,和多任务答案头的属性学习.

主要成果:

• 在英语和中文基准上,IGTR显著优于现有的STR模型.
• 该模型保持了小尺寸和快速推断速度.
• IGTR有效地解决了识别罕见和形态相似字符的挑战.

结论:

• 拟议的IGTR范式为STR提供了一种基于角色理解的新方法.
• 与当前方法相比,IGTR表现出优越的性能和效率.
• 以指令为指导的方法提供了灵活性和更好的处理困难的角色识别案例.