DAST-GAN:一种基于动态注意力和时空融合的对立学习多模式情感分析模型
1College of Mathematics and Informatics College of Software Engineering, South China Agricultural University, Guangzhou 510642, China.
Sensors (Basel, Switzerland)
|December 11, 2025
概括
本研究介绍了DAST-GAN,这是多式联络情绪分析 (MSA) 的一个新框架. 它增强了缺少数据的交叉模式相关性和稳定性,在基准数据集上实现了卓越的准确性.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 机器学习 机器学习
背景情况:
- 多式联络情绪分析 (MSA) 在不对齐的序列和缺失的数据中扎着跨式联络.
- 现有的方法往往无法捕捉动态依赖性,并且无法有效处理噪音或不完整的输入.
研究的目的:
- 提出DAST-GAN,这是一个解决MSA局限性的框架,特别是在建模跨模式相关性和处理缺失的模式方面.
- 通过使用动态注意力和对抗训练来提高情绪分析模型的稳定性和准确性.
主要方法:
- 开发了一个动态注意模块 (DAM),用于基于语义上下文的适应性交叉模式特征加权.
- 实施了统一的时空注意力 (STA) 机制,以捕捉模式内时间和模式间空间相关性.
- 利用基于生成对抗网络 (GAN) 的对抗训练策略,以提高对不完整数据的表示稳定性,并补充双路径优化.
主要成果:
- 在CMU-MOSI,CMU-MOSEI和CH-SIMS数据集上,DAST-GAN取得了极具竞争力的结果.
- 证明了平均绝对误差的显著降低:在CMU-MOSI (完整模式) 上为2.6%,在CMU-MOSEI (不完整模式) 上为3.76%.
- 废弃研究证实了动态注意力模块,时空注意力和GAN组件的有效性.
结论:
- DAST-GAN有效地建模了交叉模式的相关性,并处理了MSA中缺失的模式.
- 拟议的框架显示出强大的准确性和稳定性,优于现有的基线方法.
- DAM,STA和GAN的协同组合显著有助于提高多式联络情绪分析的性能.
