GANMasker:一个双阶段的生成对抗网络,用于高质量的面具清除
Mohamed Mahmoud1,2, Hyun-Soo Kang1
1Department of Information and Communication Engineering, School of Electrical and Computer Engineering, Chungbuk National University, Cheongju-si 28644, Republic of Korea.
这项研究引入了一种新的两阶段深度学习网络,用于切实地去除面罩. 该方法有效地重建复杂的面部特征,在图像质量指标方面表现优于现有技术.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 图像处理 图像处理
背景情况:
- 深度学习在图像绘制方面表现出色,但去除大型复杂的面罩仍然具有挑战性.
- 随着COVID-19的流行,人们对面具去除技术的兴趣越来越大.
- 有限的配对蒙面/不蒙面面部数据集阻碍了开发.
研究的目的:
- 开发一个强大的深度学习模型,以准确地去除面罩.
- 为了应对复杂的面部特征被掩盖的面具重建的挑战.
- 为了克服配对蒙面和没有蒙面面部图像数据集的稀缺性.
主要方法:
- 一个双阶段网络,结合了面具细分的自动编码器和带有注意力的GAN,以及用于重建的面具-无面具区域融合 (MURF).
- 关于CelebA数据集的培训,CelebA数据集是一个大型的公开集合,包含配对的蒙面和没有蒙面的面孔.
- 使用多尺度面具面部进行评估,以评估各种面具尺寸和复杂度的性能.
主要成果:
- 与最先进的技术相比,拟议的方法显著改善了面罩的去除.
- 达到30.96dB的峰值信号噪声比 (PSNR),比第二最佳方法提高4.18dB.
- 在结构相似性指数测量 (SSIM) 中增加了1%,达到0.95,表明高视觉保真度.
结论:
- 这种新的两级网络有效地去除了面罩,产生了真实而准确的无面罩面孔.
- 在GAN中的注意力和MURF机制加强了对蒙面地区的重视,以便进行优质的重建.
- 该方法在揭露面部方面提供了显著的进步,特别是在复杂和大型面具方面.
更多相关视频
06:21Design and Development of a Three-Dimensionally Printed Microscope Mask Alignment Adapter for the Fabrication of Multilayer Microfluidic Devices
Published on: January 25, 2021
03:31Author Spotlight: Enhancement of Salient Object Detection for Smart Grid Applications
Published on: December 15, 2023
相关概念视频
Masking and Demasking Agents
There are many masking agents, such as cyanide, fluoride, triethanolamine, thiourea, and 2,3-bis(sulfanyl)propan-1-ol (formerly 2,3-dimercapto-1-propanol), with the masking agent chosen based on...
Extraction: Advanced Methods
Oxygen Delivering System I: Nasal Cannula and Face Mask
Nasal Cannula
A nasal cannula is a lightweight tube split at one end into two prongs and placed in the nostrils. It is typically used to deliver low to medium levels of oxygen.
Suggested flow rate: The suggested flow rate for a nasal cannula typically ranges between 1 and 6 L/min.
Oxygen percentage setting:...
PPE Use in Healthcare Settings II: Doffing
Suctioning the Nasopharyngeal Airway
Equipment Required
