相关实验视频
Updated: Jun 28, 2025
04:48
Swin-PSAxialNet: An Efficient Multi-Organ Segmentation Technique
Published on: July 5, 2024
394
一个多式变压器模型用于识别复杂的腹腔镜外科视频中的图像
Rahib H Abiyev1, Mohamad Ziad Altabel1, Manal Darwish1
1Applied Artificial Intelligence Research Centre, Department of Computer Engineering, Near East University, 99132 North Cyprus, Turkey.
Diagnostics (Basel, Switzerland)
|April 13, 2024
概括
这项研究引入了一种多式人工智能 (AI) 模型,通过分析视频和文本数据来提高手术安全性. 人工智能模型在腹腔镜手术期间识别关键事件时实现了91%的准确性.
科学领域:
- 手术安全与人工智能
- 医学成像和机器学习
- 医疗保健中的多式联络人工智能
背景情况:
- 人工智能 (AI) 在外科手术中的作用尚未完全理解.
- 提高患者的安全性和减少不良事件是外科实践中的关键目标.
- 多模式人工智能通过整合多种数据流提供了更深入洞察的潜力.
研究的目的:
- 开发和评估用于外科视频分析的新型多式联络人工智能模型.
- 评估整合文本和图像特征的有效性,以提高外科手术事件检测.
- 通过人工智能驱动的外科手术程序分析来提高患者安全.
主要方法:
- 开发了一种灵感来自视频音频文本转换器架构的多式模式模型.
- 使用最先进的模型 (视觉转换器和BERT) 来进行文本和图像嵌入.
- 采用无卷积的变压器架构用于特征提取,以及用于模态融合的联合空间.
- 从Cholec80数据集中训练并测试了腹腔镜胆囊切除术 (LC) 视频数据上的模型.
主要成果:
- 该模型在从手术视频中提取独特的特征方面表现出了很高的性能.
- 一个共同的空间有效地结合了文本和图像特征,保持了模式间的关系.
- 在测试组中,平均准确率为91.0%,精度为81%,回忆率为83%.
- 该模型在分析不同复杂度的腹腔镜胆囊切除术视频时表现出有效性.
结论:
- 开发的多式联络人工智能模型在提高手术安全方面显示出有前途.
- 通过先进的变压器架构集成视觉和文本数据是有效的.
- 这种方法是朝着人工智能辅助的外科监测和风险降低迈出的重要一步.
