通过多式融合语音和眼动数据来推进阿尔茨海默病检测

科学领域:

• 神经科学和计算语言学.
• 生物医学信号处理和机器学习.

背景情况:

• 阿尔茨海默病 (AD) 是一种进展性神经退行性疾病,影响认知.
• 早期发现AD对于及时干预和管理至关重要.
• 说话和眼睛运动的微妙变化可以表明早期的认知衰退.

研究的目的:

• 研究整合语音和眼外运动 (EOM) 数据的有效性,以提高阿尔茨海默病的检测.
• 为了比较多式融合方法与AD分类的单式分析.
• 评估各种建模框架的性能,包括任务不可知和基于变压器的方法.

主要方法:

• 使用原始语音和EOM信号开发可扩展的AD分类的任务不可知方法.
• 介绍了SpeechEyeNet,这是一个基于变压器的多模式融合的跨模式网络.
• 对预训练的时间序列模型进行评估,以进行零射击EOM分析.
• 对可解释和不可解释的多式联运框架进行比较分析.

主要成果:

• 语音和EOM数据的多模式融合在AD检测中始终优于单模式基线.
• 可解释的多式联络方法显示出更高的性能,可能是由于样本大小.
• 语音和EOM信号提供了可靠的AD诊断的补充信息.

结论:

• 整合语音和EOM数据为改善早期和准确的阿尔茨海默病检测提供了一个有希望的途径.
• 开发的多式联络方法提高了诊断的稳定性,并支持非侵入性查工具.
• 未来的研究应该探索各种神经系统疾病,先进的融合技术和更大的数据集以实现概括性.