通过使用变压器网络进行显微超光谱成像来检测和评估甲状腺癌的边缘
Minh Ha Tran1,2, Ling Ma1,2, Hasan Mubarak1,2
1University of Texas at Dallas, Department of Bioengineering, Richardson, Texas, United States.
Journal of biomedical optics
|July 25, 2024
概括
使用TimeSformer模型的高光谱成像 (HSI) 在数字病理学中显著改善了甲状腺癌边缘检测. 数据增强进一步提高了更好的癌症诊断的准确性和灵敏性.
科学领域:
- 数字病理学数字病理学
- 在瘤学瘤学.
- 医疗成像医学成像
背景情况:
- 超光谱成像 (HSI) 为瘤学应用提供了先进的功能.
- 在数字病理学中提高癌症检测准确度至关重要.
研究的目的:
- 评估HSI与数据增强相结合的有效性,以检测H&E染色幻灯片中的甲状腺癌边缘.
- 将修改后的TimeSformer网络的性能与其他深度学习模型进行比较.
主要方法:
- 从65个甲状腺幻灯片中捕获了2599个HSI,加工成153,906个补丁.
- 修改了带有光谱空间注意力的TimeSformer;应用了RandAugment用于数据增强.
- 将TimeSformer (HSI) 与ConvNext和ViT (RGB) 模型进行比较;用于可视化注意力展开.
主要成果:
- 时间Sformer实现了90.87%的精度,91.50%的灵敏度,97.04%的AU-ROC.
- 发现了瘤边缘,平均雅卡德得分为0.76毫米.
- 数据增强使TimeSformer的精度从88.23%提高到90.87%,从80.87%提高到90.87%.
结论:
- 带有TimeSformer的HSI在甲状腺癌边缘检测方面优于传统的RGB模型.
- 拟议的增强方法可以提高诊断性能.
- 注意力展开证实了该模型专注于相关的生物特征.
