多模式阿尔茨海默病从图像,文本和音频的识别

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 医学诊断 医学诊断 医学诊断

背景情况:

• 阿尔茨海默病 (AD) 是一种进展性神经退行性疾病,影响认知功能.
• 目前的AD诊断通常依赖于分析口头描述,主要使用语音和基于文本的模型.
• 将视觉背景整合到AD诊断模型中仍然是一个未经探索的领域.

研究的目的:

• 提出和评估一种用于预测阿尔茨海默病的新型多式联络模型.
• 集成图像,文本和音频数据,以提高诊断准确度.
• 调查AD分类中不同模式的合作贡献.

主要方法:

• 开发了一种包含图像,文本和音频数据的多式模式模型.
• 使用视觉语言模型进行图像和文本处理,结构为双部分图形.
• 采用基于共同注意力的中间融合和晚期融合来整合所有三种模式.
• 使用Shapley值进行了废弃研究,以量化模式贡献并开发辅助损失函数.

主要成果:

• 拟议的多式联运模型实现了90.61%的诊断准确度,超过了现有的最先进的方法.
• 沙普利价值分析向辅助损失函数提供了信息,该辅助损失函数在训练期间适应性调整了模式的重要性.
• 对注意力模式的分析表明,音频和文本为AD分类提供了补充信息.

结论:

• 通过基于共同注意力的融合整合图像,文本和音频模式,显著提高了阿尔茨海默病分类性能.
• 与单模方法相比,多模方法提供了更全面的诊断工具.
• 音频和文本模式提供互补的诊断线索,突出显示多式联运数据集成的价值.