RemixFormer++:用于精确皮肤瘤差异诊断的多模式变压器模型,具有记忆效率高的注意力

科学领域:

• 皮肤病学中的人工智能
• 医学图像分析 医学图像分析
• 机器学习用于瘤学

背景情况:

• 由于视觉模糊性,对恶性皮肤瘤的准确诊断具有挑战性.
• 整合各种数据来源,如临床图像,皮肤镜检查和病史,可以提高诊断精度.

研究的目的:

• 提出RemixFormer++,一种用于多模式皮肤瘤诊断的新型变压器模型.
• 为了提高早期恶性皮肤瘤检测的准确性和效率.

主要方法:

• 开发了RemixFormer++,一个多模式的变压器,集成临床图像,皮肤镜像和元数据分支.
• 采用专门的注意力策略进行临床 (自上而下) 和皮肤镜 (自下而上) 图像处理.
• 来自所有分支的融合特征,用于强大的疾病分类.

主要成果:

• 在多个单模数据集上,RemixFormer++实现了卓越的性能.
• 与以前的方法相比,Derm7pt多式联络数据集的平均F1增加了5.3%,准确度提高了1.2%.
• 在12种常见皮肤瘤的大规模内部数据集上获得了92.6%的整体分类准确度.

结论:

• RemixFormer++通过有效整合多模式数据,显著提高了皮肤瘤分类的准确性.
• 该模型的性能与经验丰富的皮肤科医生相美,表明在早期癌症检测中具有很强的临床应用潜力.