在手术室的基于音频的事件检测

科学领域:

• 医疗信息学 医疗信息学
• 信号处理 信号处理
• 机器学习 机器学习

背景情况:

• 目前的操作室 (OR) 工作流分析系统主要是基于研究的,缺乏通用应用.
• 音频数据用于OR工作流分析的潜力在很大程度上仍未被探索,尽管其具有低成本和独立于视觉或位置数据等优势.

研究的目的:

• 为手术室开发和评估基于音频的事件检测系统.
• 探索使用声音分析在外科环境中全面识别工作流程的可行性.

主要方法:

• 利用了一套新的数据集,包括来自手术室的63个多小时的注释音频.
• 将处理的音频数据转化为log-mel-spectrograms,用于输入预训练的卷积神经网络.
• 采用数据增强技术来提高分类准确性.

主要成果:

• 通过像MobileNet这样的轻量级模型实现了高性能,证明了计算效率.
• 成功分类11个不同的音频事件类别,包括外科手术和设备移动.
• 在定制数据集上实现了90%的整体准确性,91%的精度和91%的F1得分.

结论:

• 音频事件识别是OR工作流分析的可行和有价值的补充,超越了语音.
• 拟议的方法在计算上是廉价的,可以集成到现有或未来的识别管道中.
• 这种概念验证强调了音频作为一个重要的,未充分利用的外科环境数据源.