在社交网络中使用放射性图像和基于文本的医疗概念检测,使用混合深度学习

科学领域:

• 医学成像分析 医学成像分析
• 医疗保健中的人工智能
• 社交媒体数据挖掘

背景情况:

• 社交网络上越来越多的健康内容导致医疗图像的广泛共享.
• 医疗图像中的自动概念检测和分类是具有挑战性但至关重要的任务.
• 深度学习模型为复杂的图像分析问题提供先进的解决方案.

研究的目的:

• 来自社交网络的放射性图像进行多标签分类.
• 自动分配来自统一医疗语言系统 (UMLS) 的相关医疗概念.
• 评估混合深度学习模型在这个新型数据集上的表现.

主要方法:

• 使用卷积神经网络 (CNN) 与前网络相结合.
• 采用了各种图像编码器:VGG-19,DenseNet-121,ResNet-101,Xception和Efficient-B7. 这两种编码器都在使用中.
• 在ImageCLEF 2019数据集和自定义社交网络数据集 (Rdpd_Test_Ds) 上训练和评估模型.

主要成果:

• 拟议的混合深度学习模型显示出有希望和高性能.
• 评估指标包括精度,回忆和F1分数.
• 在将医学概念赋予放射图像时,取得了显著的准确性.

结论:

• 这项研究是首次将深度学习应用于来自社交媒体的放射性数据.
• 这项研究为医学图像分析做出了新的和有影响力的贡献.
• 这些发现突显了人工智能在理解在线健康信息方面的潜力.