拉普拉西安-前者:克服视觉转换器在局部纹理检测中的局限性
Reza Azad1, Amirhossein Kazerouni2, Babak Azad3
1Faculty of Electrical Engineering and Information Technology, RWTH Aachen University, Germany.
Medical image computing and computer-assisted intervention : MICCAI ... International Conference on Medical Image Computing and Computer-Assisted Intervention
|February 1, 2024
概括
拉普拉西安-福默通过增强频率信息捕获以实现更好的医疗图像细分来改进视觉变压器 (ViT) 模型. 这种新的方法提高了检测细微组织异常和病变的性能.
科学领域:
- 计算机视觉 计算机视觉
- 医学图像分析 医学图像分析
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 视觉变压器 (ViT) 模型在计算机视觉方面表现出色,但在医疗任务中至关重要的高频图像细节方面扎.
- 卷积神经网络 (CNN) 比ViT更好地捕捉局部纹理和边缘,这对于识别瘤和病变等异常至关重要.
研究的目的:
- 增强视觉变压器 (ViT) 模型捕获高频图像组件的能力,以改善语义细分.
- 介绍一种新的技术,拉普拉西安-福尔默,在自我注意力机制中适应性地重新校准频率信息.
主要方法:
- 拟议的拉普拉斯 - 福默利用了双重注意力机制:有效的注意力来减少计算复杂性和频率注意力来重新校准图像频率.
- 实施了高效的增强多尺度桥梁,以在从编码器到解码器的信息传输过程中保留空间和基本特征.
主要成果:
- 在多器官细分任务中,拉普拉西安-福尔默实现了更好的性能,与最先进的 (SOTA) 方法相比,子得分增加了1.87%.
- 在皮肤病变细分方面表现出有效性,与SOTA方法相比,子得分提高了0.76%.
结论:
- 拉普拉西安-福默成功地解决了ViT模型在捕获高频信息方面的局限性,从而提高了语义细分的准确性.
- 拟议的方法为医学图像分析提供了有希望的进步,特别是在质地和形状至关重要的复杂异常的细分方面.
