对身体组织和手术工具对第一人称手术视频中的工作流识别的影响进行分析
Hisako Tomita1, Naoto Ienaga2, Hiroki Kajita3
1Graduate School of Science and Technology, Keio University, Yokohama, 2238522, Japan. t-hisako@keio.jp.
International journal of computer assisted radiology and surgery
|February 27, 2024
概括
本研究介绍了一种人工智能系统,用于使用机器学习识别组织和工具的手术工作流程识别. 该系统通过分析操作领域的时间过渡来增强程序理解.
科学领域:
- 计算机辅助手术是计算机辅助的手术.
- 外科手术工作流程分析
- 机器学习在医疗保健中的应用
背景情况:
- 准确估计外科手术工作流程和外科医生的技能评估至关重要.
- 分析操作领域的时间过渡有助于程序理解.
- 识别诸如组织和工具等元素是工作流识别的关键.
研究的目的:
- 开发一个用于外科手术程序工作流程的自动识别系统.
- 采用机器学习来识别和区分身体组织和外科工具.
- 分析手术场内的时间过渡,以获得更好的外科洞察力.
主要方法:
- 908个第一人称视图乳腺手术图像的注释,用于细分.
- 训练一个面具 R-CNN 基于像素级分类器.
- 使用一个在43,007张注释的手术图像上训练的变压器架构网络,包括身体组织和手术工具.
主要成果:
- 实例细分为身体组织区域过渡提供了洞察力.
- 为手术工具有效捕捉空间特征.
- 程序工作流的识别准确性提高了3%的身体组织和一个额外的4%的手术工具.
结论:
- 身体组织的时间转换和手术工具的空间特征有助于程序工作流的识别.
- 身体组织是至关重要的元素,特别是在开放式手术中.
- 准确识别特定程序的外科工具可以进一步提高识别准确度.
