实时上下文感知多式联网,用于从动态临床环境中的团队沟通中识别活动和活动阶段

科学领域:

• 临床信息学是一种临床信息学.
• 语音处理 语音处理
• 医疗人工智能的人工智能

背景情况:

• 目前的临床活动识别系统主要依赖于视觉或感官数据,限制了它们在缺乏这些线索的场景中的应用.
• 关键事件期间涉及口头评估或复杂的团队沟通的活动,如创伤复苏,对现有的识别技术具有挑战性.

研究的目的:

• 开发和评估基于语音的系统,用于在临床环境中识别活动和活动阶段,特别是在创伤复苏期间.
• 通过专注于音频信号和团队沟通模式来解决视觉依赖系统的局限性.

主要方法:

• 收集了在实际创伤复苏事件中常见的活动和阶段的高质量数据集.
• 开发了一种利用音频信号和关键字的新型多式联网,独立于高性能自动语音识别 (ASR) 引擎.
• 设计了上下文模块,以捕捉团队对话中的动态依赖关系,并引入了模拟团队通信的数据增强方法.

主要成果:

• 情境感知多式模式实现了线下F1分数,活动识别为73.2±0.8%,活动阶段识别为78.1±1.1%.
• 在线实验显示,性能下降约为10-15%,取决于ASR输出细分,证明了稳定性.
• 数据增强方法在数据有限的场景中提高了性能.

结论:

• 基于语音的活动和活动阶段识别在动态临床事件 (如创伤复苏) 中是可行的.
• 拟议的多式联络方法为监测临床活动提供了一个可行的替代方案,在这种情况下,可视化或设备数据是不可用的.
• 进一步的研究可以优化ASR集成和细分,以提高实时性能.