调整基于风格的生成对抗网络,以创建描绘裂唇形的图像
Abdullah Hayajneh1, Erchin Serpedin1, Mohammad Shaqfeh2
1Electrical and Computer Engineering Department, Texas A&M University, College Station, TX, USA.
Scientific reports
|January 28, 2025
概括
CleftGAN是一种新的深度学习工具,可以生成大量逼真的裂唇图像,克服面部形评估和手术结果评估中机器学习开发的数据稀缺性.
科学领域:
- 医疗成像医学成像
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 高质量,伦理认可的患者图像的稀缺性阻碍了面部形评估的机器学习.
- 开发强大的机器学习模型需要广泛而多样化的数据集.
研究的目的:
- 开发一个基于深度学习的系统 (CleftGAN) 来生成一个庞大的,多样化的数据集,实现切口唇面部图像的真实性.
- 评估CleftGAN在生成高保真面部图像副本方面的性能.
主要方法:
- 使用了一个转移学习协议,以StyleGAN作为基础模型.
- 采用了514张裂唇图像和7万张正常面部的基本模型的数据增强.
- 通过使用Frechet Inception Distance,感知路径长度和正常度的分歧指数来评估生成的图像.
主要成果:
- CleftGAN成功地生成了大量独特的,高保真的裂唇图像,具有种族多样性.
- 性能指标证实与训练数据集的高度相似性和语义上有效的图像插值.
- 生成的图像显示出与训练数据相比的正常分布.
结论:
- CleftGAN 是一种新的仪器,用于生成几乎无限量的逼真的裂唇面部图像.
- 这种工具可以显著帮助开发机器学习模型,用于客观地评估面部形状和评估外科手术结果.
