深度转移学习模型与Gannet优化算法的融合,为视觉障碍者提供先进的图像标题系统

科学领域:

• 计算机视觉 计算机视觉
• 自然语言处理自然语言处理.
• 人工智能的人工智能

背景情况:

• 自动化图像标题对于帮助视障人士通过将视觉信息转换为口头或书面描述至关重要.
• 现有的方法在生成精确和上下文感知的标题方面面临挑战,这限制了它们在可访问性应用中的有效性.

研究的目的:

• 开发一种新的深度转移学习模型和Gannet优化算法的融合,用于用于视觉障碍的高级图像取景系统 (FDTLGO-AICSVD).
• 通过精确的图像到文本转换,增强视觉障碍用户的图像标题准确性和描述质量.

主要方法:

• 图像预处理技术包括消除噪声和对比度增强.
• 使用深度转移学习模型 (DenseNet121,VGG19,MobileNetV2) 和术语频率反向文档频率 (TF-IDF) 的特征提取.
• 通过Gannet优化算法 (GOA) 进行超参数优化,以实现精确的标题生成.

主要成果:

• FDTLGO-AICSVD模型在Flickr8k数据集上获得了45.11%的优异BLEU-4得分,在Flickr30k数据集上获得了58.91%的优异BLEU-4得分.
• 显著更高的CIDEr得分被记录在内: 63.17 在Flickr8k和 69.81 在Flickr30k.
• 通过标准图像标题标题的基准来证明增强的描述精度和语言生成能力.

结论:

• 拟议的FDTLGO-AICSVD模型为图像标题提供了一个强大而高效的解决方案,特别有利于视力受损的人.
• 深度转移学习和Gannet优化算法的集成导致在生成准确和上下文意识的图像描述方面取得了卓越的性能.