从整个幻灯片图像生成病理学报告,并进行知识检索和多级区域特征选择
Dingyi Hu1, Zhiguo Jiang2, Jun Shi3
1Image Processing Center, School of Astronautics, Beihang University, Beijing, 100191, China.
Computer methods and programs in biomedicine
|March 2, 2025
概括
这项研究引入了一种新的深度学习方法,用于从整个幻灯片图像 (WSIs) 中生成病理报告. 该方法通过使用多层次的特征选择和知识检索来提高诊断的准确性和效率,优于现有的方法.
科学领域:
- 数字病理学数字病理学
- 医学中的人工智能
- 计算病理学计算病理学
背景情况:
- 计算机辅助病理学诊断对于临床决策至关重要.
- 从整个幻灯片图像 (WSI) 生成文本报告是具有挑战性的,因为图像的复杂性和大小.
- 现有的方法难以应对WSI组织的结构和病理多样性.
研究的目的:
- 为临床实践开发一种高效的组织病理学报告生成方法.
- 解决从大型和复杂的WSIs生成准确报告的挑战.
- 提高自动化病理报告的临床实用性.
主要方法:
- 一种新的方法,结合知识检索和多层次的区域特征选择,用于WSI报告生成.
- 实施一个多级区域特征编码网络和一个特征选择模块来处理信息分发.
- 使用历史案例数据和大型语言模型 (LLM) 集成知识检索模块,以提高可扩展性和适应性.
主要成果:
- 该方法在公共 (GastricADC) 和内部 (Gastric-3300) 数据集上进行了评估.
- 在胃ADC数据集上取得了卓越的性能,红色L为0.568和蓝色-4为0.345.
- 在Gastric-3300数据集上表现出明显更好的结果, Rouge-L为0.690,超过了最先进的方法.
结论:
- 拟议的方法有效地从WSIs生成病理报告,克服图像复杂性和尺寸挑战.
- 多级区域特征选择和知识检索模块提高了报告的准确性和相关性.
- 这种先进的技术改进了现有的最先进的方法,用于自动生成本病理学报告.
