相关实验视频
Updated: Jun 25, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
389
通过融合卷积神经网络和变压器模型来增强皮肤病变细分
Zhijian Xu1, Xingyue Guo2, Juan Wang2
1School of Electronic Information Engineering, China West Normal University, No. 1 Shida Road, Nanchong, Sichuan, 637009, China.
Heliyon
|May 29, 2024
概括
这项研究介绍了一种新的双分支网络,将CNN和变压器结合起来,用于准确的皮肤病变细分. 该模型有效地整合了本地和全球特征,显著提高了公共数据集的细分性能.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 皮肤病学 皮肤病学
背景情况:
- 准确的皮肤病变细分对于诊断至关重要,但由于病变的变化和图像工件而具有挑战性.
- 像卷积神经网络 (CNN) 这样的现有方法与全球背景作斗争,而变压器缺乏本地细节.
- 小规模的医疗图像数据集带来了过度配合和深度学习模型的计算复杂性的风险.
研究的目的:
- 开发一种有效的自动皮肤病变细分方法,解决当前CNN和变压器模型的局限性.
- 通过整合本地和全球特征提取能力来提高细分精度.
- 在各种公共皮肤病变数据集上验证拟议模型的性能.
主要方法:
- 一个新的双分支编码器架构,结合了四层CNN用于本地特征和四层变压器用于全球特征.
- 一个功能融合模块,包含道关注,以整合和完善本地和全球信息.
- 使用跳过连接来进行编码器和解码器之间的信息交换,以保存细节.
- 在四个公共数据集 (ISIC 2016,2017,2018,PH2) 上使用数据增强技术 (翻转,亮度,对比度,旋转).
主要成果:
- 在多个数据集中实现了高细分精度,交叉与联盟 (IoU) 的分数在87.7%至92.79%之间.
- 在持续时间,诚信,承诺和努力等其他指标上表现出卓越的表现,得分高达96.21%.
- 综合CNN-Transformer方法有效地捕获了本地和全球图像特征,以改善细分.
结论:
- 拟议的双分支网络为皮肤病变自动细分提供了强大的解决方案,优于现有方法.
- 整合本地和全球特征学习对于精确细分复杂的皮肤病变至关重要.
- 该模型在公共数据集上的有效性突显了其在皮肤病学中临床应用的潜力.
