患者活动识别的多模式LLM:在临床环境中整合视频,音频和文本

科学领域:

• 人工智能的人工智能
• 临床信息学 临床信息学
• 医疗保健技术 技术 医疗保健 技术

背景情况:

• 准确的患者活动识别对于医院的安全和护理质量至关重要.
• 目前的方法面临复杂活动和临床变异性的挑战.
• 需要在医疗机构加强针对患者的监测.

研究的目的:

• 引入ClinActNet,一个用于准确识别患者活动的新型多式联络框架.
• 通过整合多样化的数据来源和患者特定的背景来改善患者监测.
• 通过可解释的AI在医疗保健中增强临床决策.

主要方法:

• 开发了ClinActNet,一个使用大型语言模型和上下文感知咨询转换器的多式联络框架.
• 集成的视频,音频和临床文档 (EHR).
• 整合了患者个人资料编码器,临床知识图推理器和个性化层,用于患者特定的监控.

主要成果:

• 在672小时的医院数据中,对关键安全事件实现了89.7%的准确性和98.2%的精度.
• 在公开的VAST数据集上证明了稳定性,准确率为84.1%.
• 在现实世界的实施中,减少了48%的被忽视的关键事件.

结论:

• ClinActNet提供了一个强大而准确的解决方案,用于医院的患者活动识别.
• 该框架增强了以患者为中心的AI和在临床环境中可解释的见解.
• ClinActNet有可能显著提高患者安全和护理质量.