通过整合临床史来完善注意力,通过多模式深度学习网络增强胸部X射线诊断
Lian Yang1,2, Yiliang Wan3, Feng Pan4,5
1Department of Radiology, Union Hospital, Tongji Medical College, Huazhong University of Science and Technology, Jiefang Avenue 1277, Wuhan, 430022, China.
一个新的多式胸部X射线网络 (MCX-Net) 通过结合图像和临床病史来改善深度学习以诊断肺部疾病. 这种先进的模型在多标签疾病检测方面表现优异,与仅使用图像的方法相比.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 医学成像的深度学习模型面临着数据不平衡和识别多种共存疾病的挑战.
- 目前的放射学模型主要依赖于图像数据,与使用全面临床信息的放射科医生不同.
研究的目的:
- 引入多式胸部X射线网络 (MCX-Net) 用于使用胸部X射线图像和临床史文本进行多标签疾病诊断.
- 通过整合多种数据源来增强深度学习模型的诊断能力.
主要方法:
- 通过结合预训练的文本,图像和交叉模式编码器开发了MCX-Net.
- 微调了MIMIC-CXR-JPG数据集上的网络,用于诊断13种肺部疾病.
- 在测试套件上使用宏AUROC对性能进行评估.
主要成果:
- MCX-Net实现了0.816的宏观AUROC,显著优于单模式基线 (ViT基线:0.747,ResNet152:0.749).
- 多模式方法在多标签肺病诊断中表现优异.
结论:
- 在现有的基于图像的深度学习诊断系统中,MCX-Net对胸部X射线进行了实质性的进步.
- 将临床史文本与医学图像相结合,可以提高复杂病例的诊断准确度.
更多相关视频
10:26Author Spotlight: A 3D Digital Model for the Diagnosis and Treatment of Pulmonary Nodules
Published on: May 19, 2023
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
相关概念视频
Radiological Investigation I: X-ray and CT
Imaging Studies for Cardiovascular System III: X-Ray
Definition and Purpose
An X-ray, or radiograph, is a non-invasive method that uses ionizing radiation to take images of internal structures. It is mainly used in cardiac imaging to examine the heart, lungs, and major blood vessels, aiming to identify abnormalities in the heart's size, shape, and position, such as heart failure, congenital defects, and vascular...
X-ray Imaging
Assessment of Airway, Skin Color, and Use of Accessory Muscles
Introduction
The initial evaluation of a patient's respiratory system...
