设计一种代混合多式模式深度学习方法,用于早期检测皮肤疾病,采用交叉注意力和基于图形的融合
Yerrabati Shivasree1, V RaviSankar1
1Department of Computer Science & Engineering, GITAM Deemed to be University, Hyderabad, Telangana, India.
MethodsX
|September 15, 2025
概括
这项研究介绍了SkinHarmoNet,一种用于早期发现皮肤疾病的多式人工智能模型. 它整合了视觉,时间和临床数据,达到89.6%的准确性,可靠,可解释的AI驱动皮肤病诊断.
科学领域:
- 人工智能的人工智能
- 皮肤病学 皮肤病学
- 医疗信息学 医疗信息学
背景情况:
- 早期发现皮肤病对于有效治疗至关重要.
- 整合各种患者数据 (视觉,时间,临床) 是一个重大挑战.
- 现有的人工智能模型往往缺乏对多式联运数据的全面分析.
研究的目的:
- 提出一个端到端的多式模式学习框架,用于早期发现皮肤疾病.
- 从异构的患者数据中有效地融合空间,时间和语义信息.
- 在临床环境中建立多式联络性皮肤学AI的最新技术.
主要方法:
- 使用EfficientNet-B4从皮肤镜图像中提取视觉特征.
- 采用BiLSTM与时间注意力进行时间序列症状分析.
- 集成的临床BERT用于从临床叙述中进行上下文嵌入.
- 结合了使用多头交叉注意力和图形注意力网络 (GAT) 进行患者间关系建模的功能.
主要成果:
- 实现了平均预测准确率为89.6%和F1得分为0.886.6的平均预测准确率.
- 超越了基于最先进的卷积神经网络 (CNN) 的基线.
- 通过同时优化空间,时间和临床数据来证明卓越的性能.
结论:
- 提出的SkinHarmoNet模型为早期皮肤疾病检测提供了可靠和可解释的预测.
- 多模式融合方法提高了皮肤病学AI的准确性和稳定性.
- 这一框架为AI在临床皮肤病诊断中设定了新的基准.
