整合转移学习用于在GP咨询中对体检进行分类:一种多模型方法来识别人对象和人对人活动
Moomna Waheed1, Hao Xiong1, Kate Tong1
1Centre for Health Informatics, Australian Institute of Health Innovation, Macquarie University, Sydney, Australia.
Journal of the American Medical Informatics Association : JAMIA
|November 27, 2025
概括
本研究引入了一种深度学习融合模型,用于在全科医生咨询中自动分类体检. 这种先进的模型准确地区分了人对象和人对人的活动,为改进的远程医疗诊断铺平了道路.
科学领域:
- 医疗人工智能 医疗人工智能
- 计算机视觉在医疗保健中的应用
- 临床信息学 临床信息学
背景情况:
- 对临床相互作用的自动化分析对于改善医疗保健提供和研究至关重要.
- 在全科医生 (GP) 咨询期间,区分人对象活动 (HOA) 和人对人活动 (HHA) 是一个重大挑战.
- 深度学习为医疗检查视频数据的复杂分析提供了潜力.
研究的目的:
- 开发和评估一个深度学习融合模型,用于GP咨询中物理检查的自动分类.
- 使用视频数据,区分人类对象活动 (HOA) 和人类对人类活动 (HHA).
- 根据最先进的方法评估模型的性能,并验证其组件的贡献.
主要方法:
- 设计了一个多元组合转移学习框架,整合了空间和时间特征分析.
- 该模型包含用于顺序数据处理的CNN-LSTM模块和用于各种空间特征提取的EfficientNet-B7,DenseNet-121和Inception-v3组合.
- 一个带有注意力机制的融合模块结合了两条流的功能,通过转移学习对GP咨询视频进行了微调.
主要成果:
- 融合模型表现出高性能与精度 (92.1%),回忆 (89.9%) 和F1得分 (90.9%) 的高性能.
- 它显著超过了十个最先进的基线模型.
- 废除研究证实了空间和时间分析结合的协同效益,产生了F1得分的显著改善.
结论:
- 拟议的深度学习融合框架准确地在GP咨询中识别身体检查.
- 这项技术有望推进远程医疗能力,并支持未来的诊断研究.
- 该模型对相互作用类型的分类能力为临床实践提供了有价值的见解.
