利用视觉基础模型通过基于PConv的微调与自动提示符进行缺陷细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 工业自动化 工业自动化

背景情况:

• 图像细分对于工业缺陷检测至关重要.
• 像分段任何模型 (SAM) 这样的基础模型提供了强大的概括性,但由于功能差异和依赖手动提示,在工业环境中面临挑战.
• 现有的SAM应用程序在专门的工业环境中难以扩展.

研究的目的:

• 开发一个工业缺陷细分框架,PA-SAM,克服SAM在工业应用中的局限性.
• 通过专门的微调和自动提示生成,提高SAM在工业缺陷数据集上的性能.
• 将SAM适应为一个端到端的语义细分解决方案,用于工业缺陷识别.

主要方法:

• 在低级调整 (LoRA) 中引入了多级部分卷积聚合 (MSPCA),用于参数高效微调 (PEFT),以使图像编码器适应工业缺陷特征.
• 开发了一个图像到提示嵌入生成器 (IPEG) 来自动地从图像嵌入中创建高质量的提示嵌入,消除了手动提示的需求.
• 改进了SAM的面具解码器,以创建一个端到端的语义细分框架.

主要成果:

• 在两个真实世界的工业缺陷数据集上,PA-SAM实现了73.87%和68.30%的欧盟 (IoU) 的平均交叉点.
• 该框架获得了84.90%和80.22%的平均子系数,超过了最先进的算法.
• 证明了强大的概括能力和在工业缺陷细分中显著的应用潜力.

结论:

• 通过将PEFT与MSPCA-LoRA和IPEG集成,PA-SAM有效解决了SAM在工业缺陷细分方面的局限性.
• 拟议的框架显著提高了细分精度和效率,为工业缺陷识别提供了可扩展的解决方案.
• 在工业质量控制和检查中,PA-SAM显示出在现实世界部署的巨大潜力.