Meta-TIP:一个无监督的端到端融合网络,用于多个数据集的风格适应威胁图像投影

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 威胁图像投影 (TIP) 对于训练安全人员和人工智能系统进行X射线行李查至关重要.
• 现有的基于原则和基于GAN的TIP方法在灵活性,风格一致性,培训稳定性和可解释性方面存在局限性.

研究的目的:

• 开发一个灵活的,无监督的,端到端的威胁图像投影 (TIP) 框架.
• 通过生成视觉一致和真实的合成X射线图像来克服现有的TIP方法的局限性.

主要方法:

• 推出了Meta-TIP,这是一个新的无监督框架,用于适应风格的威胁图像投影.
• 开发了一种前景-背景对比的损失,用于纯粹的禁止物品重建.
• 实现了物质意识的风格适应投影模块,用于外观控制.
• 设计了一个基于TIP原则的对数损失,用于无监督优化.

主要成果:

• Meta-TIP成功地从杂乱的源图像中重建纯粹的禁止物品.
• 该框架以适应的方式将项目投射到目标X射线图像上,并保持风格的一致性.
• 在四个公共数据集 (SIXray,OPIXray,PIXray,PIDray) 中验证了合成图像的真实性和训练效果.

结论:

• 在概念上,Meta-TIP提供了一个简单,灵活和无监督的TIP方法.
• 该框架产生高度现实的合成X射线图像,没有任何限制.
• 在安全查培训中,Meta-TIP显著提高了合成数据的质量和适用性.