比较CAM算法用于识别图像特征突出的图像在图像学艺术品分析分析
Nicolò Oreste Pinciroli Vago1,2, Federico Milani1, Piero Fraternali1
1Department of Electronics Information and Bioengineering, Politecnico di Milano, 20133 Milano, Italy.
Journal of imaging
|July 31, 2024
概括
本研究评估了类激活地图 (CAM) 以识别基督教艺术中的图标特征. 像Grad-CAM这样的先进方法有效地确定符号,帮助计算机辅助艺术分析和对象检测.
科学领域:
- 计算机视觉 计算机视觉
- 艺术史 艺术史 艺术史
- 人工智能的人工智能
背景情况:
- 图像学研究艺术作品的主题和表现.
- 卷积神经网络 (CNN) 将基督教艺术中的角色分类.
- CNNs依赖人类利用的图标属性及其在物体检测中的使用仍然不清楚.
研究的目的:
- 为了比较最先进的类激活地图 (CAM) 算法来识别基督教艺术中的图标属性.
- 评估CAMs在支持图标符号对象检测方面的有效性.
- 推进艺术品中的图标元素的计算机辅助分析.
主要方法:
- 对 CAM,Grad-CAM,Grad-CAM++ 和 Smooth Grad-CAM++ 算法的比较.
- 对CAM算法性能进行定量和定性分析.
- 从CAM算法中使用突出图像区域对象级界限框的估计.
主要成果:
- 与CAM相比,Grad-CAM,Grad-CAM++和Smooth Grad-CAM++显示了类似的,优越的性能.
- 流的Grad-CAM++擅长识别小的,不连接的图标符号.
- 格拉德-CAM有效地识别了更大,连续的图标符号.
- 通过Grad-CAM估计的界限框实现了55%的平均IOU,61%的GT已知本地化和31%的mAP.
结论:
- 格拉德-CAM及其变体是可视化CNN分类驱动器在基督教艺术图标中的有效工具.
- 通过CAM生成的边界框显示出用于训练图标符号检测器的前景.
- 这项研究促进了计算机辅助的艺术分析,专注于图标元素的定位和关系.
