通过多标签对比学习和LLM功能指导来增强弱监督的语义细分
IEEE journal of biomedical and health informatics
|September 5, 2024
概括
本研究引入了一种新的弱监督的语义细分方法,用于使用多标签对比学习的全幻灯片图像 (WSIs). 它通过利用LLM功能和强大的学习来处理复杂的遗传病理数据来提高细分精度.
科学领域:
- 数字病理学数字病理学
- 计算机视觉 计算机视觉
- 医学图像分析 医学图像分析
背景情况:
- 组织病理全幻灯片图像 (WSI) 分段对于医学诊断至关重要.
- 传统的细分方法需要广泛的像素级注释,这需要大量的时间.
- 弱监督的语义细分 (WSSS) 通过使用不那么密集的补丁级标签提供了一个解决方案.
研究的目的:
- 为具有多标签特征的复杂世界级互联网开发一种有效的WSSS方法.
- 在WSI分析中克服单一标签对比学习方法的局限性.
- 为了减少注释负担,同时提高细分精度在他的病理学.
主要方法:
- 一个新的多标签对比学习框架为WSSS.
- 从分类器权重中获得的特定类别嵌入的纳入.
- 利用大型语言模型 (LLM) 功能进行基于注意力的语义丰富.
- 一个强大的学习方法来缓解使用多层功能杂的伪标签.
主要成果:
- 在组织病理图像细分任务上表现出卓越的性能.
- 在LUAD和BCSS数据集上取得了领先的结果.
- 有效地解决了由WSI复杂性和稀疏标签所带来的挑战.
结论:
- 拟议的多标签对比学习方法显著增强了WSSI的WSSS.
- 法律法学士的特点指导和强大的学习策略提高了细分的准确性和可靠性.
- 这种方法为组织病理学图像分析提供了更高效和有效的解决方案.
