潜在扩散模型以提高钢表面检查中的视觉缺陷细分网络的性能
Jon Leiñena1, Fátima A Saiz1, Iñigo Barandiaran1
1Vicomtech Foundation, Basque Research and Technology Alliance (BRTA), 20009 Donostia, Spain.
Sensors (Basel, Switzerland)
|September 28, 2024
概括
使用稳定的扩散模型生成合成图像显著提高了在制造过程中视觉缺陷细分的准确性. 通过这些人工智能生成的图像来增强训练数据,可以提高深度学习模型的性能,解决现实世界的数据稀缺问题.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 制造业 制造技术 制造技术
背景情况:
- 工业部件的真实缺陷数据往往稀缺和不平衡,阻碍了强大的深度学习模型的训练.
- 合成数据生成提供了一个可行的解决方案,以增强有限的数据集并改善模型概括.
研究的目的:
- 研究最先进的隐性扩散模型的有效性,特别是稳定扩散,用于生成合成缺陷图像.
- 通过利用人工智能生成的数据,提高制造部件中视觉缺陷细分的稳定性.
主要方法:
- 在NEU-seg数据集上使用LoRA (低级调整) 技术进行微调稳定扩散.
- 集成合成图像通过稳定扩散生成,用于DeepLabV3+和FPN细分模型的训练数据集,以不同的比例.
- 评估了合成数据增强对模型性能的影响,使用了平均跨欧盟交叉点 (mIoU).
主要成果:
- 通过稳定扩散生成的合成图像来增加训练数据集,使得DeepLabV3+和FPN模型的mIoU显著改善.
- 提出的方法在缺陷细分精度方面取得了显著的收益,与仅在真实数据上训练的模型相比,在mIoU方面有5.95%和6.85%的改进.
结论:
- 隐性扩散模型,如稳定扩散,是生成高质量的合成数据的有效工具,以改善工业缺陷检测.
- 合成数据增强增强了培训数据的多样性和数量,导致在制造环境中更准确,更可靠的视觉缺陷细分.
