在放射学中利用基于内容的图像检索的基础模型.
Stefan Denner1, David Zimmerer2, Dimitrios Bounias3
1German Cancer Research Center (DKFZ) Heidelberg, Division of Medical Image Computing, Heidelberg, Germany; Faculty of Mathematics and Computer Science, Heidelberg University, Heidelberg, Germany.
视觉基础模型为放射学中的基于内容的图像检索 (CBIR) 提供了多功能,现成的特征提取. 这些模型的性能与专用系统相美,不需要特殊的调整,增强了诊断辅助和医学研究.
科学领域:
- 放射学和医学成像学 医学成像学
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 放射学中的基于内容的图像检索 (CBIR) 系统通常专门用于特定的病理,限制了它们的广泛适用性.
- 现有的CBIR系统需要广泛的培训和调整以获得最佳性能.
- 视觉基础模型 (VFMs) 证明了在各种任务中产生适用于各种任务的通用视觉特征的潜力.
研究的目的:
- 调查使用VFMs作为放射学中CBIR的现成特征提取器的有效性.
- 在一个大规模的,多模式的放射性图像数据集上对各种VFM进行基准测试.
- 评估VFM在创建多功能,通用医疗图像检索系统方面的潜力.
主要方法:
- 在一组数据集上对一组多样化的VFM进行基准测试,该数据集包含160万个2D放射图像,涵盖四种模式和161种病理.
- 使用诸如精度在K (P@k) 等指标评估检索性能.
- 分析索引大小的影响,嵌入空间质量,以及解剖与病理结构的检索.
主要成果:
- 弱监督的VFMs,特别是BiomedCLIP,表现出高效,在没有额外培训的情况下达到P@1高达0.594.
- 性能与专门的CBIR系统相美,突出了VFMs的多功能性.
- 分析揭示了对索引大小影响,嵌入空间特征以及检索特定图像特征的挑战的见解.
结论:
- VFMs显示出在放射学中推进CBIR的巨大潜力,为专业系统提供了多功能替代方案.
- 拟议的方法可以实现通用医疗图像检索,而不需要特定的模型调整.
- 这项研究为更具适应性和更强大的放射学诊断辅助和医学研究工具铺平了道路.
更多相关视频
07:15Machine Learning Algorithms for Early Detection of Bone Metastases in an Experimental Rat Model
Published on: August 16, 2020
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
相关概念视频
Positron Emission Tomography
One of the main requirements of a PET scan is a positron-emitting radioisotope, which is produced in a cyclotron and then attached to a substance used by the part of the body...
X-ray Imaging
Imaging Studies I: CT and MRI
Description of the Procedures
Computed Tomography (CT) scan:
Computed Tomography (CT) scans use X-ray technology to generate detailed images of bones, organs, and tissues. During the scan, the patient lies on a moving table...
Imaging Studies III: Computed Tomography
Radiological Investigation I: X-ray and CT
Computed Tomography
The technique was invented in the 1970s and is based on the principle that as X-rays pass through the body, they are absorbed or reflected at different levels. In the technique, a patient lies on a motorized platform while a computerized axial tomography (CAT) scanner rotates...
