毛毯-1M:一百万图像-文本对用于组织病理学

科学领域:

• 数字病理学数字病理学
• 计算机视觉 计算机视觉
• 医疗信息学 医疗信息学

背景情况:

• 多模式学习由于大量的在线图像和文本数据而迅速发展.
• 组织病理学缺乏类似的大规模,类似的数据集,阻碍了代表性学习的进步.
• 在YouTube上由专家策划的教育组织病理学视频提供了一个尚未开发的资源.

研究的目的:

• 为组织病理学策划一个大规模的视觉语言数据集,以使代表性学习成为可能.
• 为了解决医学成像,特别是组织病理学方面的数据短缺问题.
• 开发和评估一个模型用于组织病理学图像分类和交叉模式检索.

主要方法:

• 自动策划 YouTube 中的组织病理学视频,以创建 Quilt 数据集 (768,826 个图像-文本对).
• 将Quilt与其他数据源集成,形成Quilt-1M (一百万个图像-文本样本),这是同类数据中最大的数据集.
• 在Quilt-1M数据集上微调预训练的CLIP模型.

主要成果:

• 昆特-1M数据集在规模上显著超过现有的基因病理学数据集.
• 微调的CLIP模型在零射击和线性探测任务中实现了最先进的性能.
• 该模型在对不同数据集的基因病理图像进行分类时表现出卓越的准确性,并改进了跨模式检索能力.

结论:

• 昆特-1M是推进基因病理学表示学习的宝贵资源.
• 开发的模型显示出在数字病理学和医学图像分析领域的应用潜力很大.
• 利用在线视频平台可以有效地解决专业医疗领域的数据限制.