一个基于多模式交叉变压器的模型,使用语音,语言和视觉来预测轻度认知障碍
Farida Far Poor1, Hiroko H Dodge2, Mohammad H Mahoor1
1Department of Electrical and Computer Engineering, University of Denver, Denver, CO, USA.
Computers in biology and medicine
|September 27, 2024
概括
这项研究引入了一种新的AI方法,使用多式联络数据准确检测轻度认知障碍 (MCI),这是认知衰退的早期阶段. 与单一数据方法相比,该方法显著提高了预测准确性,有助于早期诊断.
科学领域:
- 人工智能的人工智能
- 神经科学是一个神经科学.
- 老年学是指老年学的学科.
背景情况:
- 轻度认知障碍 (MCI) 是正常认知和痴呆之间的过渡阶段.
- 早期发现MCI对于预防阿尔茨海默病和其他痴呆症的进展至关重要.
- 目前用于MCI检测的AI方法通常依赖于单模数据,限制了预测准确度.
研究的目的:
- 开发和评估一个强大的多式联通AI架构,以准确预测MCI.
- 为了应对有效地融合来自不同数据模式的信息以加强检测的挑战.
- 改进现有的单模和双模MCI识别方法.
主要方法:
- 提出了一种基于深度学习的方法,整合了语音,语言和视觉模式.
- 使用嵌入级融合架构,并配备共同注意力机制,以维护模式间关系.
- 采用了I-CONECT数据集,包括75岁以上个人的半结构化对话.
主要成果:
- 多模式融合模型在区分MCI与正常认知 (NC) 方面实现了平均AUC为85.3%.
- 这显著优于单模模型 (60.9% AUC) 和双模模型 (76.3% AUC).
- 共同注意力机制有效地捕获了语音,语言和视觉数据中的互补信息.
结论:
- 拟议的多式融合方法为早期MCI检测提供了更准确,更可靠的方法.
- 利用综合的语音,语言和视觉数据显著提高了预测性能.
- 这种由人工智能驱动的策略对临床应用具有前景,用于识别面临认知衰退风险的个体.
