多标签通用零射击胸部X射线分类通过结合图像-文本信息与特征解
IEEE transactions on medical imaging
|July 17, 2024
概括
这项研究引入了一种新的多模式,多标签的通用零射击学习 (GZSL) 方法,用于胸部X射线分析. 它有效地合成了看不见的疾病类别的特征,提高了分类准确性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 医疗图像分类模型需要多样化的数据以获得稳定性.
- 通用零射击学习 (GZSL) 能够预测可见和不可见的类.
- 现有的GZSL方法往往忽视了胸部X射线的多标签性质.
研究的目的:
- 开发一种新的多模式多标签GZSL方法,用于胸部X射线分类.
- 为了应对在未见的X射线图像中分类多种疾病的挑战.
- 提高医学图像分类模型的稳定性和准确性.
主要方法:
- 利用特征解和多模式信息来进行特征合成.
- 使用BioBert来嵌入疾病标签的文本,并构建一个标签相似性字典.
- 使用图形聚合和集群来学习标签间的相似性和识别代表向量.
- 合成多标签疾病样本,用于可见类和不可见类.
主要成果:
- 提出的方法成功生成了现实的多标签疾病样本.
- 与NIH和CheXpert数据集上的现有方法相比,表现出优异的性能.
- 在多标签环境中有效合成未见类的功能.
结论:
- 新的多模式多标签GZSL方法显著推进胸部X射线分类.
- 特性解和多模式信息对于处理未见的疾病类别至关重要.
- 该方法为具有多个标签的强大医疗图像分析提供了有前途的方向.
更多相关视频
08:25Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment
Published on: May 7, 2019
9.0K
02:09Multi-modal Pulmonary Imaging: Using Complementary Information from CT and Hyperpolarized 129Xe MRI to Evaluate Lung Structure-Function
Published on: April 12, 2024
575
