多模式传感用于抑郁风险检测:集成音频,视频和文本数据
Zhenwei Zhang1,2, Shengming Zhang3, Dong Ni1,2
1School of Biomedical Engineering, Health Science Center, Shenzhen University, Shenzhen 518060, China.
Sensors (Basel, Switzerland)
|June 27, 2024
概括
本研究介绍了一种新的音频,视频和文本融合三分支网络 (AVTF-TBN),用于客观地检测抑郁风险. 多式联网深度学习模型有效地融合传感器数据,提高诊断准确度.
科学领域:
- 心理学 心理学 心理学
- 计算机科学 计算机科学
- 数据科学数据科学数据科学
背景情况:
- 抑郁症是一个重要的全球心理健康挑战.
- 传统的抑郁风险评估方法缺乏客观性和效率.
- 深度学习为改进,数据驱动的抑郁症检测提供了潜力.
研究的目的:
- 引入一种新的多式联网深度学习框架,即音频,视频和文本融合三分支网络 (AVTF-TBN),用于抑郁风险检测.
- 开发和验证一种情绪诱导范式,使用不同的任务 (阅读,采访) 来收集基于传感器的抑郁数据.
- 评估AVTF-TBN模型在使用合并的听觉,视觉和文字数据检测抑郁风险方面的有效性.
主要方法:
- 开发了AVTF-TBN框架,为音频,视频和文本数据处理提供了独立的分支.
- 实施了一种情感诱导范式,包括阅读和采访任务,以收集多式联络传感器数据.
- 利用多式融合模块将不同模式的功能结合起来,用于预测建模.
- 使用F1分数,精度和回忆等指标评估模型性能.
主要成果:
- 在使用阅读和采访任务的数据时,AVTF-TBN模型获得了0.78的F1评分,0.76的精度和0.81的回忆.
- 实验结果验证了情绪诱导范式在生成相关数据方面的有效性.
- 该研究表明,基于传感器的数据在抑郁风险检测中的重要贡献.
结论:
- 通过整合多式联络传感器数据,AVTF-TBN模型在检测抑郁风险方面表现出高效.
- 开发的情绪诱导范式对于收集丰富,基于传感器的心理健康数据是有效的.
- 这项研究突出了深度学习和多式联络数据融合在客观心理健康评估中的潜力.
