隐藏面部分析和面部重建通过多任务方法和跨模态蒸在特拉赫兹成像中进行

科学领域:

• 生物识别和成像技术
• 人工智能和机器学习
• 信号处理 信号处理

背景情况:

• 太赫兹 (THz) 成像使得立即生物识别成为可能,但面临着稀疏性,低分辨率和高噪音等挑战.
• 现有的THz生物识别系统在数据限制和图像质量方面扎.

研究的目的:

• 开发一个统一的多任务学习 (MTL) 网络,用于增强的特拉赫兹 (THz) 面部生物识别.
• 用THz数据改进隐藏面部验证,面部姿势分类和生成重建.
• 探索跨模式的知识蒸,以增强只有THz的学生模型.

主要方法:

• 一个新的基于编码器的U-Net类多任务学习 (MTL) 网络被设计用于隐藏的THz面部数据.
• 该网络同时处理了面部验证,姿势分类和生成重建任务.
• 采用了交叉模式的教师-学生方法,使用可见光谱数据指导在蒸过程中仅使用THz的学生模型.

主要成果:

• 统一的MTL网络在具有挑战性的THz面部图像数据集上表现出非常成功的性能.
• 与单一模式基线相比,交叉模式蒸学生模型显示了潜在空间分离能力的改善.
• 仅THz和蒸模型都保持了高保真度,从隐藏的输入中生成未隐藏的面孔.

结论:

• 拟议的MTL网络有效地解决了THz面部生物识别方面的局限性.
• 跨模式蒸为增强仅THz生物识别系统提供了一个可行的策略.
• 开发的模型显示了使用特拉赫兹成像进行强大的隐藏生物识别的前景.