文本驱动弱监督的OCT损失细分与结构性指导

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 眼科医生 眼科 眼科

背景情况:

• 精确细分光学连贯断层扫描 (OCT) 图像对于诊断和监测视网膜疾病至关重要.
• 监督学习用于OCT细分是受困于艰苦的像素级注释过程.
• 弱监督语义细分 (WSSS) 通过使用像图像级标签这样的弱监督来减少注释负担提供了一个解决方案.

研究的目的:

• 开发一种新的WSSS框架,用于OCT病变细分,仅使用图像级标签.
• 整合结构和文本驱动的指导,以生成高质量的像素级伪标签.
• 改进OCT图像中的病变定位和细分性能.

主要方法:

• 提出了一个WSSS框架,整合了OCT损伤细分的结构和文本指导.
• 采用了两个视觉处理模块:一个用于OCT原始图像,另一个用于带有异常信号的层分段.
• 利用大规模预训练模型为标签衍生和域无关的合成文本指导.
• 在多模式框架中融合了视觉和文本特征,以使语义意义与结构相关性保持一致.

主要成果:

• 在三个OCT数据集上取得了最先进的结果.
• 证明了病变局部化和细分性能的改进.
• 使用弱监督成功生成了高质量的像素级伪标签.

结论:

• 拟议的多模式WSSS框架有效地利用了结构和文本驱动的指导,用于OCT损伤细分.
• 这种方法有可能显著提高医学成像中的诊断准确性和效率.
• 公共可用的代码和模型有助于进一步的研究和应用.