用临床和图像数据对多式模式架构进行比较分析,以有效地检测皮肤病变,使用临床和图像数据

科学领域:

• 皮肤病学 皮肤病学
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 皮肤病变的分类是一个关键的诊断挑战.
• 深度学习看起来很有前途,但通常只使用皮肤镜图像.
• 为了提高准确性,临床元数据的整合尚未得到充分研究.

研究的目的:

• 开发和评估用于皮肤病变分类的多式联络数据融合框架.
• 系统地将皮肤镜像与临床元数据整合起来.
• 为了比较不同的融合策略,以获得最佳的诊断性能.

主要方法:

• 开发了一个多式模式框架,整合了皮肤镜像和临床元数据.
• 评估的融合策略:连接,自我注意和交叉注意.
• 使用多层感知器 (MLP) 来处理临床数据,使用ResNet来处理图像.
• 使用梯度加权类激活映射 (Grad-CAM) 来实现模型的可解释性.

主要成果:

• 交叉注意力融合实现了最高的分类准确性.
• 多式联运框架显著优于仅图像的基线.
• 交叉注意力有效地捕捉了视觉和临床数据之间的模式间依赖.

结论:

• 将临床元数据与皮肤镜像相结合,大大提高了皮肤病变分类的准确性.
• 像交叉注意力这样的先进的融合方法显示出卓越的性能.
• 挑战包括阶级不平衡和融合方法的计算复杂性.