一种创新的多头注意力机制驱动的循环神经网络模型,具有特征表示融合,用于增强图像标题,以帮助视力障碍患者
Mashael M Asiri1, Kholoud Alghamdi2, Fahad Alzahrani3
1Department of Computer Science, Applied College at Mahayil, King Khalid University, Abha, Saudi Arabia. abusharara@kku.edu.sa.
Scientific reports
|October 14, 2025
概括
这项研究引入了用于图像标题的先进深度学习模型,提高了视力受损人士的可访问性. 这种创新方法提高了图像理解和自然语言生成,以提高社会包容性.
科学领域:
- 人工智能的人工智能
- 计算机视觉 计算机视觉
- 自然语言处理自然语言处理.
背景情况:
- 图像标题技术对于社会包容性至关重要,特别是对于视力受损的人来说.
- 深度学习和视觉语言预训练已经显著提升了图像标题功能.
- 当前的方法在自然语言中准确地表示复杂的视觉内容时面临挑战.
研究的目的:
- 提出一种创新的深度学习方法,MARNN-FRFICP,以提高图像标题的性能.
- 通过先进的图像描述,改善视力障碍者可访问性.
- 为应对人工智能中自动图像内容表示的挑战.
主要方法:
- 使用高斯过 (GF) 进行图像预处理以提高质量.
- 融合了InceptionResNetV2,卷积视觉变压器 (CvT) 和DenseNetl69,用于高级特征提取.
- 采用混合多头注意力机制,具有双向长期短期记忆和封闭的反复单元 (MH-BLG) 进行分类,通过Lyrebird优化算法 (LOA) 进行优化.
主要成果:
- 在Flickr8k,Flickr30k和MSCOCO数据集中,MARNN-FRFICP方法证明了更好的可扩展性和性能.
- 实验分析证实了与现有技术相比,拟议方法的有效性.
- 多种深度学习模型和注意力机制的融合导致了功能表示和分类准确性的增强.
结论:
- 马尔恩-FRFICP方法在图像标题技术方面取得了重大进展.
- 这种方法有可能大大提高视力障碍者的生活质量和社会包容性.
- 该研究强调了将各种深度学习架构和优化技术用于复杂的人工智能任务的有效性.