功能精细化和重新思考对遥感的关注 图像标题 图像标题
Yunpeng Li1,2, Chengjin Tao1,2, Meng Liu1,2
1The Jiangsu Province Engineering Research Center of Integrated Circuit Reliability Technology and Testing System, Wuxi University, Wuxi, 214105, China.
Scientific reports
|March 14, 2025
概括
这项研究引入了一种用于遥感图像标题的新框架,该框架改进了功能并使用重新思考注意力. 该方法通过允许模型重新考虑视觉信息来提高准确性,从而导致更好的描述.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 遥感 遥感 遥感 遥感
背景情况:
- 注意力机制对于遥感图像标题至关重要,但与限制性假设和弱对象相关性作斗争.
- 当前的视觉特征提取器在对象关系未被明确定义时可能会失败.
研究的目的:
- 开发一个先进的远程传感图像标题框架,克服当前注意力驱动模型的局限性.
- 通过改进视觉特征并实现"重新思考"注意力过程,提高图像标题的准确性和稳定性.
主要方法:
- 一个特征改进模块使用改进门交互网格级特征,以削弱无关的视觉信息.
- 一个重新思考的注意力机制与重新思考的LSTM层允许自发关注多个区域用于单词预测.
- 使用信任纠正策略来模拟重新思考注意力和学习歧视性上下文表示.
主要成果:
- 拟议的框架在四个基准数据集中表现出卓越的表现:NWPU-标题,RSICD,UCM-标题和悉尼-标题.
- 取得了显著的改进,特别是在NWPU-Captions数据集上,突出了该方法的有效性.
结论:
- 功能改进和重新思考注意力框架为远程传感图像标题提供了更强大,更有效的解决方案.
- 该模型能够重新考虑视觉焦点和完善特征,从而获得更准确,更丰富的图像描述.


