CLIP-Llama:使用预训练的视觉语言模型和预训练的语言模型进行场景文本识别的新方法
Xiaoqing Zhao1, Miaomiao Xu1, Wushour Silamu1
1College of Computer Science and Technology, Xinjiang University, No. 777 Huarui Street, Urumqi 830017, China.
Sensors (Basel, Switzerland)
|November 27, 2024
概括
本研究介绍了CLIP-Llama,这是一种用于场景文本识别 (STR) 的新方法,利用CLIP和Llama2-7B. CLIP-Llama在11个基准上取得了最先进的结果,增强了人工智能应用.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 场景文本识别 (STR) 对人工智能应用,如图像检索和智能运输至关重要.
- 预训练的视觉语言模型是下游人工智能任务的基础.
- 在正规和不规则的文本格式中,CLIP表现出强大的文本识别能力.
研究的目的:
- 推出CLIP-Llama,这是一个新的STR模型,集成CLIP和Llama2-7B.
- 通过结合视觉和跨模式信息来提高STR的准确性.
- 用视觉语言模型为未来的STR研究奠定坚实的基础.
主要方法:
- 使用了CLIP的图像和文本编码器,有两个分支:视觉和跨模式.
- 将Llama2-7B纳入交叉模式分支,以改进预测.
- 采用双预测和精细化解码方案来改进推断.
主要成果:
- 在11个场景文本识别基准测试中,CLIP-Llama取得了最先进的表现.
- 在自然图像中识别各种文本方面表现出强大的能力.
- 展示了双分支架构和Llama2-7B集成的有效性.
结论:
- CLIP-Llama在场景文本识别方面取得了重大进展.
- 该模型的性能突显了将大型语言模型与STR视觉语言模型集成的潜力.
- 这项工作为未来的AI驱动文本识别研究提供了坚实的基础.
