通过使用CLIP线性探测器重新定义外泄症严重程度的分类,使用少量射击实例.

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 扩张需要及时检测,以防止严重的并发症.
• 以前用于扩散分类的方法是数据密集型和不太准确的.

研究的目的:

• 通过使用预先训练的视觉转换器模型,开发一种用于细粒度外流的细粒度外流分类的几次射击学习方法.
• 为了提高早期外流检测的准确性和效率.

主要方法:

• 利用GroundingDINO和分段任何模型 (SAM) 来对人类皮肤进行细分.
• 使用对比语言图像训练 (CLIP) 来从皮肤区域提取特征.
• 应用了线性探测,用于分类的几次射击实例.

主要成果:

• 实现了平均F1_宏得分为74.08%的接地DINO-CLIP,每类只有64个实例.
• 与之前的研究相比,在轻微的外流病例中,F1_宏得分增加了3.27%.
• 与双重U-Nets和DenseNet-121模型相比,其表现优越,训练数据显著减少.

结论:

• 使用预先训练有素的视觉变换器进行少量射击学习,提供了一种高度有效的超散分类方法.
• 这种方法提升了早期和细粒度检测外流,特别是在医疗环境中.
• 开发的方法提供了一种更有效,更准确的替代现有的外流检测系统.