变压器-卷积网络与曲率感知损失功能的多孔口融合增强了临床和显微镜图像的3D细分

科学领域:

• 医学成像分析 医学成像分析
• 计算病理学计算病理学
• 人工智能在医学中的应用

背景情况:

• 精确的细分和减少计算足迹对于定量治疗评估中的3D放射和显微镜图像分析至关重要.
• 现有的方法往往难以平衡精度和效率,需要新的方法.

研究的目的:

• 引入多孔转换器卷积网络 (MAFTC-Net) 以改进3D图像细分.
• 开发一个自定义的损失函数,通过使用主要曲率来惩罚拓差异.
• 通过先进的图像分析,加强对治疗药物的定量评估.

主要方法:

• MAFTC-Net使用多孔成像模式和金字塔表示来保持图像分辨率.
• 编码器将Swin变压器与卷积网络集成在一起,以处理本地和全球特征.
• 一个3D融合块结合了变压器和卷积层的输出,在Synapse,ACDC和3D Organoid数据集上使用自定义损失函数进行训练.

主要成果:

• MAFTC-Net获得了高的平均子得分:Synapse的90.18±0.04,ACDC的93.55±0.05,以及3D Organoid数据集的95.13±0.03.
• 该网络的复杂性降低,只有3820万个参数.
• 定制损失函数有效地惩罚了拓差异,提高了细分精度.

结论:

• MAFTC-Net在用于定量治疗评估的自动化3D图像分析方面取得了重大进展.
• 拟议的架构和损失函数为医疗图像细分提供了强大而高效的解决方案.
• 这种方法有望通过精确的成像生物标志物加速药物发现和临床试验分析.