基于智能手机视频的早期诊断,使用双重交叉注意力建模,增强了面部姿势估计
Shenyu Huang1, Boyuan Yang2, Xiaoling Huang1
1Zhejiang University, Eye Center of Second Affiliated Hospital, School of Medicine. Zhejiang Provincial Key Laboratory of Ophthalmology. Zhejiang Provincial Clinical Research Center for Eye Diseases. Zhejiang Provincial Engineering Institute on Eye Diseases, Hangzhou, China.
NPJ digital medicine
|August 5, 2025
概括
一个新的AI模型分析智能手机视频以检测白发作 (非自愿的眼收缩). 它准确评估严重程度和频率,帮助早期诊断,提高眼科医生的诊断准确度.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 血,焦点 dystonia,导致非自愿的眼收缩影响视力和社会互动.
- 微妙的临床症状往往会延迟早期和准确的诊断,阻碍及时治疗.
- 基于智能手机的视频分析为远程和可访问的患者评估提供了潜在的途径.
研究的目的:
- 开发和验证双重交叉注意深度学习框架,用于使用智能手机视频评估白发作.
- 评估模型的确定白发作严重程度,频率和诊断的能力.
- 评估人工智能协助对初级眼科医生的诊断能力的影响.
主要方法:
- 开发了一个深度学习框架,整合了时间视频特征和面部里程碑动态.
- 模型培训使用了来自两个医院的847个患者视频 (2016-2023) 的回顾性数据集.
- 使用SHAP分析增强了可解释性;前性评估涉及179名患者.
主要成果:
- 该模型实现了白发作严重程度 (0.828) 和频率 (0.82) 的高精度.
- 观察到诊断的准确度中等 (0.674).
- 在前性评估中,人工智能辅助提高了初级眼科医生的诊断准确率高达18.5%.
结论:
- 一个可解释的,与智能手机兼容的深度学习模型显示出对白发作评估的希望.
- 人工智能工具可以支持早期检测和评估白发作的严重程度/频率.
- 在临床实践中整合人工智能可以提高眼科医生的诊断准确性.
