GazeCapsNet:一个轻量级的凝视估计框架
Shakhnoza Muksimova1, Yakhyokhuja Valikhujaev2, Sabina Umirzakova1
1Department of Computer Engineering, Gachon University, Sujeong-gu, Seongnam-si 461-701, Republic of Korea.
Sensors (Basel, Switzerland)
|February 26, 2025
概括
移动-GazeCapsNet通过将囊网络与轻量级架构集成,为移动设备提供高效和准确的目光估计. 这种新的框架通过实时处理能力实现了最先进的性能.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 机器学习 机器学习
背景情况:
- 视线估计对于VR,AR和驾驶员监控至关重要,但由于计算需求,当前的模型在移动部署方面遇到了困难.
- 现有的方法往往需要复杂的预处理或大量的资源,限制了它们在移动设备上的使用.
研究的目的:
- 为移动应用程序引入Mobile-GazeCapsNet,一个高效和准确的目光估计框架.
- 通过利用囊网络和轻量级架构来克服现有模型的局限性.
主要方法:
- 通过将囊网络与MobileNet v2,MobileOne和ResNet-18.8集成,开发了移动-GazeCapsNet.
- 实现了自我注意路由 (SAR) 来取代代路由,动态分配计算资源以提高效率.
- 消除了对面部地标检测的需求.
主要成果:
- 在ETH-XGaze和Gaze360数据集上实现了最先进的 (SOTA) 性能,平均角误差 (MAE) 减少了高达15%.
- 实时处理在每20毫秒的时间.
- 仅需要1170万个参数,使其适用于资源有限的环境.
结论:
- 移动-GazeCapsNet提供了一个实用和有效的解决方案,用于实时移动凝视估计.
- 该框架为移动视线估计技术设定了一个新的标准,平衡准确性和效率.
更多相关视频
07:09Gaze in Action: Head-mounted Eye Tracking of Children's Dynamic Visual Attention During Naturalistic Behavior
Published on: November 14, 2018
10.5K
07:12Development of a Gaze-Contingent Display Framework Designed for Perceptual and Oculomotor Research with Simulated Central Vision Loss
Published on: April 11, 2025
273
