基于增强的CNN和混合变压器的结合查询刺图像检索
Xinzhen Zhuo1, Donghai Huang2, Yang Lin1
1School of Design, Fujian University of Technology, Fuzhou, 350001, China.
Scientific reports
|November 11, 2024
概括
本研究介绍了一种使用Blend-Transformer和Enhanced CNN的刺图像的新检索方法. 这些模型有效地捕捉了本地和全球的图像特征,提高了历史织艺术的检索精度.
科学领域:
- 计算机科学 计算机科学
- 艺术史 艺术史 艺术史
- 数字人文学科 数字人文学科
背景情况:
- 刺图像丰富的历史数据,并代表一个重要的艺术形式.
- 由于图像特征的复杂性,有效地检索特定的刺图像是一个挑战.
- 卷积神经网络 (CNN) 在特征提取方面表现出色,但通常会忽视纹理图像中的全球上下文.
研究的目的:
- 为刺图像开发一种高效的组合查询检索方法.
- 解决现有方法在捕获本地和全球上下文信息方面的局限性.
- 为了增强功能表示的丰富性,以改善刺图像检索.
主要方法:
- 拟议的组合变压器与集团外部关注 (GEA) 集成多维特征并捕捉本地/全球背景.
- 引入了带有Shuffle Attention (SA) 的增强CNN,以重组和重组CNN提取的特征,以获得更丰富的表示.
- 验证了TCE-S和ICR2020数据集的方法.
主要成果:
- 拟议的算法在刺图像检索任务中表现出色.
- 混合变压器有效地整合了当地和全球背景,克服了CNN的局限性.
- 增强的CNN提高了功能信息的丰富性,从而导致更好的检索结果.
结论:
- 开发的方法显著提升了刺图像检索能力.
- 这项研究为花艺术的保存和研究提供了新的视角.
- 这些发现有助于文化遗产文物图像检索领域.
