基准测试路径CLIP用于病理学图像分析
Sunyi Zheng1,2, Xiaonan Cui1, Yuxuan Sun3
1Tianjin's Clinical Research Center for Cancer, Key Laboratory of Cancer Prevention and Therapy, Department of Radiology, Tianjin Medical University Cancer Institute and Hospital, National Clinical Research Center for Cancer, Tianjin, China.
Journal of imaging informatics in medicine
|July 9, 2024
概括
专门用于病理学的CLIP (PathCLIP) 显示了强大的零射击分类,但其强度因图像损坏而异. 仔细的图像质量评估对于可靠的临床AI应用至关重要.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算病理学计算病理学
背景情况:
- 准确的图像分类和检索对于临床诊断和治疗决策至关重要.
- 对比的语言图像预训练 (CLIP) 模型在自然图像理解方面表现出色.
- 专门用于病理学的CLIP (PathCLIP) 利用了广泛的病理图像文本数据.
研究的目的:
- 为了评估PathCLIP对各种图像损坏的稳定性.
- 将PathCLIP的性能与受损条件下的OpenAI-CLIP和PLIP进行比较.
- 评估PathCLIP在零拍摄分类和图像检索任务中的可靠性.
主要方法:
- 在骨髓瘤和WSSS4LUAD数据集上测试了PathCLIP,其中有11种腐败类型 (例如亮度,对比度,色调,变形).
- 对零拍摄分类和图像到图像检索的性能进行了分析.
- 对OpenAI-CLIP和病理语言图像预训 (PLIP) 进行了比较分析.
主要成果:
- 在零射击分类中,PathCLIP的表现优于OpenAI-CLIP和PLIP.
- 在对比,和,不完整性和定向腐败方面,PathCLIP表现出相对稳健性.
- 颜色,标记,变形,失焦和分辨率损坏严重影响了PathCLIP的性能.
- 检索性能各不相同,PathCLIP在骨髓瘤上的表现低于PLIP,但在WSSS4LUAD上的表现优于PLIP.
结论:
- PathCLIP对病理图像分析具有很强的潜力,但需要仔细考虑图像质量.
- 图像质量保证对于AI在临床环境中可靠部署至关重要.
- 进一步研究PathCLIP对特定腐败的抵抗力是有必要的.
