软标签引导的叠加双重注意力网络用于头部姿势估计及其应用于课堂凝视分析

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 头部姿势的估计对于确定视线方向至关重要,但面临着因遮和低分辨率的挑战.
• 现有的方法在复杂的场景中难以准确.

研究的目的:

• 为准确的头部姿势估计开发一个新的框架.
• 为了解决当前处理阻塞和低分辨率方法的局限性.

主要方法:

• 一种混合方法,结合了分类和回归范式.
• 使用3D面部模型和关键点位移的新软标签生成策略.
• 介绍了堆叠的双重注意力模块 (SDAM) 与多受体注意力 (MRAM) 和通道智能自我注意力 (CSAM).

主要成果:

• 拟议的框架证明了在流行的数据集上具有竞争力的表现.
• 堆叠双重注意模块有效地提取代表性特征.
• 该方法显示了对现实世界应用的潜力,例如在教室中估计学生的目光.

结论:

• 新的框架显著提高了头部姿势估计的准确性.
• 软标签生成和SDAM是关键的创新.
• 该方法适用于实际场景,包括教育环境.