超声波图像中的甲状腺结节细分,使用带有掩面自编码器的变压器模型进行预训练

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 超声波 (美国) 图像中的甲状腺结节细分对于甲状腺癌诊断至关重要.
• 挑战包括低对比度,斑点噪音和可变的结节外观.
• 由于这些因素,现有的方法在边界检测方面遇到了困难.

研究的目的:

• 开发一种基于变压器的模型,以改善甲状腺结节细分.
• 为了利用面具自动编码器 (MAE) 预训练来增强图像表示.
• 探索交叉注意力机制,以改善信息流动.

主要方法:

• 使用了变压器架构来捕获全球图像背景.
• 在图像补丁上预先训练了一个蒙面自动编码器 (MAE).
• 对甲状腺美国数据集的模型进行了微调,并探索了交叉注意力.
• 在公共数据集 (AIMI,TN3K,DDTI) 上使用子相似系数 (DSC) 评估性能.

主要成果:

• MAE预培训加速了模型的融合,并缩短了培训时间.
• 获得了适度的DSC分数 (0.63-0.65),表明在小样本条件下存在局限性.
• 交叉注意力并没有持续改善细分性能.
• 数据有限和结节变异性限制了整体准确性.

结论:

• 具有MAE预训练的变压器模型为甲状腺结节细分提供了效率提升.
• 数据量和多样性是提高细分精度的关键因素.
• 未来的研究应该专注于增加数据,预训练交叉注意力和混合架构.