通过结合超声波和红外热图像来对甲状腺结节进行分类的自适应式多式混合模型

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 在瘤学瘤学.

背景情况:

• 超声波 (US) 和红外热像 (IRT) 是一种非侵入性,无辐射的成像技术.
• 美国提供了形态数据,而IRT为甲状腺结节提供了功能性见解.
• 目前仅使用美国图像的深度学习模型可能会错过具有微妙形态变化的恶性结节.

研究的目的:

• 为增强甲状腺结节诊断开发一种新的多模式分类模型.
• 整合来自美国的形态数据和来自IRT的功能数据,以提高准确性.
• 解决甲状腺结节检测中单模深度学习模型的局限性.

主要方法:

• 提出了一个自适应式多式混合动力 (AmmH) 分类模型.
• 集成卷积神经网络 (CNN) 和变压器模块用于特征提取.
• 采用适应性模式重量生成和跨模式编码来实现特征融合.

主要成果:

• 在甲状腺结节数据集上,AmmH模型获得了高F1 (97.17%) 和F2 (97.38%) 评分.
• 与单模分类模型相比,表现出优越的性能.
• 废弃实验证实了拟议的多模式方法的有效性.

结论:

• 通过融合多模式图像特征,AmmH模型提供了更全面的甲状腺结节描述.
• 适应性加权和融合机制提高了模型区分良性和恶性结节的能力.
• 该模型显示了作为一种非侵入性,具有成本效益的查工具的潜力,用于甲状腺结节的分类.