ARMNet:一个基于情感区域提取和多通道融合的图像维度情感预测网络

科学领域:

• 计算机视觉 计算机视觉
• 情感计算是一种情感计算.
• 机器学习 机器学习

背景情况:

• 维度情感空间提供比离散模型更准确的细粒度情感表示.
• 当前的图像情感分析方法往往忽略了对象和背景的综合影响,主要关注突出区域.
• 现有的特征融合技术无法解释不同的特征贡献,阻碍了有效的特征利用.

研究的目的:

• 提出一个新的图像情感预测网络,ARMNet,用于增强的维度情感分析.
• 通过考虑联合对象背景影响,提高对图像中情感信息的准确和丰富感知.
• 通过解决它们对情绪预测的差异性贡献来增强多层次特征的利用.

主要方法:

• 开发了ARMNet,结合了结合眼睛固定和注意力检测的统一情感区域提取方法.
• 实施了改进的道注意力机制,以融合多层次功能,考虑到它们的不同贡献.
• 在CGnA10766数据集上使用标准指标 (MSE,MAE,R2) 评估性能.

主要成果:

• 与现有方法相比,ARMNet在预测价值和兴奋方面表现显著改善.
• 具体的改善包括4.74% (MSE),3.53% (MAE) 和3.62% (R2) 的价值,以及1.93% (MSE),6.29% (MAE) 和7.23% (R2) 的兴奋.
• 通过对情绪区域的注意力权重的可视化,增强了网络的解释性.

结论:

• 拟议的ARMNet有效地捕捉了对象和背景的联合影响,以便更好地预测图像情感.
• 基于注意力的特征融合机制优化了多层次特征的使用,从而提高了准确性.
• 亚马网为维度图像情感分析提供了一种更易于解释和更准确的方法.