通过深度扩散模型和生成对立网络进行半监督的语义图像细分
José Ángel Díaz-Francés1, José David Fernández-Rodríguez1, Karl Thurnhofer-Hemsi1
1ITIS Software, University of Málaga, Calle Arquitecto Francisco Peñalosa 18, Málaga 29010, Spain.
International journal of neural systems
|August 19, 2024
概括
本研究介绍了MaskGDM,这是一种新的深度学习模型,通过将生成扩散模型与生成对抗网络 (GAN) 集成来增强图像细分. 这种方法显著减少了对像素级注释的需求,提高了细分精度.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 对于深度学习图像细分的像素级注释是昂贵且耗时的.
- 半监督学习为减少注释要求提供了一个解决方案.
- 生成对抗网络 (GAN) 已经适应了半监督细分.
研究的目的:
- 提出 MaskGDM,一种新的深度学习架构,用于改进半监督图像细分.
- 将生成扩散模型与现有的GAN架构 (如EditGAN) 集成.
- 评估拟议模型在多类和二进制细分任务上的性能.
主要方法:
- 开发了MaskGDM,这是一个混合架构,将EditGAN原则与生成扩散模型相结合.
- 在多个图像分割数据集上训练和评估模型.
- 与已建立的模型 (如EditGAN和DatasetGAN) 进行性能比较.
主要成果:
- 与EditGAN和DatasetGAN相比,MaskGDM在多类图像细分方面表现得更好.
- 该模型在ISIC数据集上的二进制图像细分方面取得了显著的改进.
- 定量结果显示提高了准确性,减少了注释需求.
结论:
- 整合生成扩散模型可以增强基于GAN的半监督图像细分.
- MaskGDM提供了一种更有效,更准确的图像细分方法.
- 拟议的方法对需要更少注释数据的各种细分应用有希望.
