计算机视觉驱动的运动注释以提升fNIRS预处理算法
Andrea Bizzego1, Alessandro Carollo1, Burak Senay1
1Department of Psychology and Cognitive Science, University of Trento, 38068 Rovereto, Italy.
Sensors (Basel, Switzerland)
|November 9, 2024
概括
一种新的计算机视觉 (CV) 方法可以准确地检测视频中的头部运动,为功能近红外光谱 (fNIRS) 研究提供可靠的地面真相. 这种自动化方法有助于开发更好的运动工件校正算法.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 计算机视觉 计算机视觉
背景情况:
- 功能近红外光谱学 (fNIRS) 能够在自然环境下研究大脑活动,因为运动耐受性.
- 在fNIRS数据中的运动工件可能会影响结果,需要有效的校正算法.
- 评估fNIRS运动工件校正受到缺乏可靠的头部运动地面真相数据的阻碍.
研究的目的:
- 调查深度学习计算机视觉 (CV) 方法的可行性和可靠性,用于从视频记录中自动检测和注释头部运动.
- 为确定头部运动的可靠基准真相,以帮助开发和评估fNIRS运动工件校正方法.
主要方法:
- 15名参与者在不同速度和类型的旋转轴上进行了受控的头部运动.
- 视频记录捕捉了运动;使用Synergy.Net提取了头部方向信号.
- 一个一维的UNet (1D-UNet) 模型处理了定向信号以检测运动,手动注释作为地面真相.
主要成果:
- CV模型在检测头部运动方面表现出强的表现,雅卡德指数为0.954 (训练) 和0.865 (测试).
- 在不同的运动轴和速度上观察到一致的性能.
- 性能因运动类型而异:重复运动 (J=0.941) >完整运动 (J=0.872) >半运动 (J=0.826).
结论:
- 拟议的CV方法为头部运动提供准确可靠的地面真相信息.
- 这种自动化方法可以显著帮助研究人员评估和改进fNIRS运动工件校正算法.
- 未来的研究可以利用这种CV技术来提高fNIRS研究的质量和有效性.
