基于蒙面图像建模的边界重建用于3D医学图像细分的边界重建
Chang Liu1, Yuanzhi Cheng2, Shinichi Tamura3
1School of Computer Science and Technology, Harbin Institute of Technology, Harbin 150001, China.
Computers in biology and medicine
|October 5, 2023
概括
本研究介绍了TNT掩护网络 (TNT-MNet),这是一种基于变压器的3D模型,用于医疗图像细分. TNT-MNet增强了结构化的知识获取,减少了对标记数据的依赖,实现了最先进的性能.
科学领域:
- 医疗图像分析 医学图像分析
- 计算机视觉 计算机视觉 计算机视觉
- 人工智能的人工智能是人工智能.
背景情况:
- 精确的3D医学图像细分对于计算机辅助诊断至关重要.
- 挑战包括形态变异,有限的标记数据和整合全球/本地信息.
- 现有的模型在有效的信息整合中扎,以获得结构化的知识.
研究的目的:
- 引入一种新的基于变压器的3D模型,即TNT掩护网络 (TNT-MNet),以改善医疗图像细分.
- 在监督学习中使用掩盖图像建模 (MIM) 来应对数据稀缺和信息整合方面的挑战.
- 通过利用目标边界区域作为掩盖的预测目标来增强结构化的知识获取.
主要方法:
- 开发了TNT掩护网络 (TNT-MNet),其中包括一个变压器中的变压器 (TNT) 编码器.
- 在监督学习中实施掩盖图像建模 (MIM),掩盖目标边界区域进行预测.
- 在在线分支机构中使用内部和外部代币的多级随机掩盖,目标分支机构指导重建.
主要成果:
- TNT-MNet的性能与最先进的模型相美或优于它们.
- 在三个医学图像数据集上进行评估:BTCV,LiTS2017和BraTS2020.
- 在医疗图像细分任务中显著减少对标记数据的依赖.
结论:
- TNT-MNet为3D医疗图像细分提供了一种突破性的方法.
- 该模型有效地整合了全球和本地信息,增强了结构化的知识获取.
- 拟议的MIM策略在监督学习中显示出对数据高效细分的承诺.
