关键差异:在数据稀缺的情况下,关键图像和注释合成的统一扩散模型

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 医疗成像和自动驾驶等关键人工智能应用中的数据稀缺导致过度装配和模型性能差.
• 当前的生成模型产生重复的合成数据,无法解决下游模型的弱点.
• 由于不同对象的单独培训要求,现有的方法缺乏计算效率.

研究的目的:

• 引入Crucial-Diff,这是一个域异的框架,用于合成关键的培训样本.
• 通过生成多样化和信息化的合成数据,克服现有数据增强技术的局限性.
• 在数据稀缺的环境中提高检测和细分性能.

主要方法:

• 拟议的Crucial-Diff框架有两个关键模块:场景不可知特征提取器 (SAFE) 和弱点意识样本挖掘器 (WASM).
• SAFE使用统一的特征提取器来捕获目标信息.
• 通过利用下游模型反,与SAFE输出融合,WASM产生难以检测的样本.

主要成果:

• 在MVTec数据集上实现了83.63%的像素级AP和78.12%的F1-MAX.
• 在聚合物数据集上达到81.64%mIoU和87.69%mDice.
• 证明了多样化,高质量的培训数据的生成.

结论:

• 关键差异有效地合成关键样本,解决数据稀缺问题并提高AI模型性能.
• 该框架为数据增强提供了一种计算效率高且无关域的解决方案.
• 公开可用的代码有助于进一步的研究和应用.