关注不确定性:用于使用视频检测创伤后应激障碍的随机多式变压器
Mamadou Dia1, Ghazaleh Khodabandelou1, Alice Othmani1
1Université Paris-Est Créteil (UPEC), LISSI, 120, Rue Paul Armangot, Vitry-sur-Seine, 94400, France.
Computer methods and programs in biomedicine
|September 28, 2024
概括
这项研究引入了一种新的多式联络深度学习模型,用于从视频中检测创伤后应激障碍 (PTSD). 该方法使用音频,视觉和文本数据准确识别PTSD,实现最先进的结果.
科学领域:
- 人工智能的人工智能
- 机器学习 机器学习
- 计算机视觉 计算机视觉
背景情况:
- 创伤后应激障碍 (PTSD) 是一种具有不同症状的严重心理疾病.
- 准确和早期发现PTSD对于有效的干预和治疗至关重要.
研究的目的:
- 开发一种新的多式联络深度学习方法,用于增强PTSD检测.
- 利用视频数据,结合音频,面部表情和语言内容进行全面分析.
主要方法:
- 开发了一个基于静态变压器的深度学习模型.
- 该模型整合了Mel频率的头角系数 (音频),面部动作单位 (视觉) 和转录的文本.
- 这种多式联络方法可以从输入数据中学习稀疏的表示.
主要成果:
- 该模型在eDAIC数据集上实现了最先进的性能.
- 在PTSD检测中表现出高准确度,根平均平方误差为1.98.
- 达到了0.722的一致性相关系数,表明了卓越的性能.
结论:
- 一个新的多模态随机变压器模型用于从视频中检测PTSD已被介绍.
- 该模型有效地利用文本,音频和视觉数据进行全面的症状分析.
- 这种方法为改善PTSD诊断和支持提供了有希望的工具.
