闪LinMulT:基于变压器的眼检测
Ádám Fodor1, Kristian Fenech1, András Lőrincz1
1Department of Artificial Intelligence, Eötvös Loránd University, Pázmány Péter stny 1/A, 1117 Budapest, Hungary.
Journal of imaging
|October 27, 2023
概括
这项研究介绍了BlinkLinMulT,这是一种用于准确检测眼的新型变压器框架. 它通过高效地融合特征和使用线性注意力优于现有方法,在各种数据集中表现出强的性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 生物医学信号处理
背景情况:
- 现有的眼检测方法通常依赖于框架智能分类.
- 基于变压器的序列模型提供了在眼检测中尚未探索的先进功能.
- 挑战包括不同的照明条件和不同的头部姿势.
研究的目的:
- 介绍BlinkLinMulT,这是一个基于变压器的框架,用于检测眼.
- 杆变压器架构用于眼的存在和眼睛状态识别.
- 开发一种高效的特征融合方法,以提高准确性.
主要方法:
- 使用基于变压器的框架 (BlinkLinMulT).
- 组合的低级和高级特征序列.
- 实施了线性复杂度跨模态注意力机制.
- 有效融合的输入特征.
主要成果:
- 在眼检测方面取得了最先进的性能.
- 在多个基准数据集 (CEW,ZJU,MRL Eye,RT-BENE,EyeBlink8,研究员之夜,TalkingFace) 中表现出强大的概括能力.
- 成功地解决了诸如照明变化和各种头部姿势等挑战.
结论:
- BlinkLinMulT为眼检测研究建立了一个新的基准.
- 变压器架构是有效的眼检测和眼睛状态识别.
- 高效的功能融合提高了模型的性能和稳定性.
