Uni4Eye++:用于眼科图像分类和细分的一般面具图像建模多模式预训练框架

科学领域:

• 眼科图像分析的分析
• 深度学习 (Deep Learning) 是一种深度学习.
• 计算机视觉 计算机视觉

背景情况:

• 眼科成像中的监督深度学习需要大型标记数据集,由于昂贵的手动注释,这些数据集很少.
• 自主监督学习 (SSL) 通过利用未标记的数据提供了一个有希望的解决方案,这对于推进眼科图像分析至关重要.
• 现有的SSL方法在利用多种数据维度 (2D/3D) 和防止知识丢失 (灾难性遗忘) 方面面临挑战.

研究的目的:

• 推出Uni4Eye++,用于眼科图像分析的通用自主监督变压器框架.
• 通过打破维度障碍并利用二维和三维眼科图像来增强特征表示.
• 提高各种下游眼科任务的预培训模型的效率和有效性.

主要方法:

• 开发了Uni4Eye++,这是一个基于蒙面图像建模和视觉转换器架构的自主监督转换器框架.
• 实施了图像导向的掩盖策略,以重建更具信息性的图像补丁.
• 引入了一个动态头发生器,以减轻模式混乱和灾难性遗忘.

主要成果:

• 在眼科图像分析中,Uni4Eye++作为全球特征提取器表现出卓越的性能.
• 经过预先训练的Uni4Eye++编码器在多个下游分类和细分任务上进行微调时取得了最先进的结果.
• 该框架有效地从未标记的眼科数据中捕获了内在的图像特征和特定领域的特征.

结论:

• Uni4Eye++为眼科图像分析提供了一个强大而通用的自我监督学习解决方案.
• 提出的方法显著提高了未标记的多维眼科数据的利用率.
• Uni4Eye++代表了对各种眼科成像应用的预培训的重大进步.