在内镜垂体外科手术视频中使用工作流识别来自动生成操作笔记
Adrito Das1, Danyal Z Khan1,2, John G Hanrahan1,2
1Wellcome/EPSRC Centre for Interventional and Surgical Sciences, University College London, United Kingdom.
Intelligence-based medicine
|March 25, 2024
概括
这项研究引入了一个自动化系统,可以从手术视频中生成操作笔记,减少错误和行政任务. 人工智能模型在从内镜下垂体手术视频分类手术步骤时获得0.80加权F1得分.
科学领域:
- 医疗技术 医疗技术 医学技术
- 在外科手术中使用人工智能
- 手术文档 手术文档
背景情况:
- 手动操作笔记生成在苛刻的临床环境中容易出现错误.
- 自动化系统可以提高手术文档的准确性和效率.
- 内镜下垂体手术需要详细和准确的手术笔记.
研究的目的:
- 开发和评估一个自动化系统,从内镜下垂体手术视频中生成手术笔记.
- 评估使用人工智能用于手术步骤识别和文档的可行性.
- 通过自动化笔记生成,减少外科医生的行政负担.
主要方法:
- 为分类外科手术步骤,开发了一个三级深度学习架构.
- 卷积神经网络 (CNN) 用于框架级二进制分类.
- 一个区分器和累积器模型执行了视频级和多标签级的步骤分类.
- 该系统在77个视频中进行了训练,并在20个内镜下垂体手术视频中进行了测试.
主要成果:
- 在分类手术步骤方面,自动化系统获得了0.80的加权F1得分.
- 该系统成功地在内镜下垂体手术视频中确定了27个预定义的步骤.
- 分类被整合到一个模板中,并通过视频分析进行了丰富.
结论:
- 从手术视频中自动生成操作笔记是可行的.
- 这项技术可以通过提高文档准确性和效率来帮助外科医生.
- 由人工智能驱动的系统有望通过更好的记录保持来提高患者护理.
