一个多式全幻灯片基础模型用于病理学
Tong Ding1,2,3,4, Sophia J Wagner1,5,6, Andrew H Song1,2,3
1Department of Pathology, Mass General Brigham, Harvard Medical School, Boston, MA, USA.
Nature medicine
|November 5, 2025
概括
我们介绍TITAN,一种用于病理学的多式联络基础模型,它使用自主监督学习和人工智能生成的标题. 泰坦提取幻灯片特征并生成报告,改善罕见疾病检索和癌症预后,无需微调.
科学领域:
- 计算病理学计算病理学
- 医学中的人工智能
- 基金会模型 基金会模型
背景情况:
- 基础模型通过通过自我监督学习将组织病理区域 (ROI) 编码为可转移的特征来推进计算病理学.
- 临床应用受到疾病特异性队列,特别是罕见疾病的稀缺数据的限制.
研究的目的:
- 为病理学开发一种多式全幻灯片基础模型,克服数据限制.
- 为了实现各种临床任务的通用幻灯片表示提取和病理学报告生成.
主要方法:
- 开发了TITAN (基于变压器的病理图像和文本对齐网络),一种多式联络式全幻灯片基础模型.
- 在335,645个全幻灯片图像上进行预训,使用视觉自我监督学习和视觉语言对齐.
- 使用了病理学报告和423,122个合成字幕,来自病理学生成AI副驾驶员.
主要成果:
- 泰坦提取通用幻灯片表示,并产生病理学报告没有微调或临床标签.
- 该模型在资源有限的场景中显示出强大的概括性,例如罕见疾病检索和癌症预后.
- 在各种机器学习任务中,TITAN 性能优于现有的 ROI 和幻灯片基础模型,包括零射击分类和跨模式检索.
结论:
- 泰坦代表了计算病理学的多式联络基础模型的重大进步.
- 该模型对罕见疾病和有限数据场景的概括能力对临床应用具有前景.
- 泰坦增强了罕见癌症检索,跨模式检索和自动病理报告生成的能力.


