视频-仪器协同网络用于参考视频仪器细分机器人手术中的视频仪器细分
IEEE transactions on medical imaging
|July 11, 2024
概括
本研究介绍了用于机器人辅助手术的参考外科视频仪器分段 (RSVIS). 新的VIS-Net模型根据语言描述准确地对目标仪器进行细分,从而增强了外科手术系统.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 医疗成像医学成像
背景情况:
- 手术仪器的细分对于机器人手术的智能化至关重要.
- 现有的方法缺乏目标特异性和互动性.
- 引用外科视频仪器细分 (RSVIS) 解决了这些局限性.
研究的目的:
- 介绍和解决RSVIS的新任务.
- 开发一种交互式,语言引导的外科手术仪器细分系统.
- 改善手术教育系统中的用户参与度和定制性.
主要方法:
- 为RSVIS研究构建两个新型手术视频数据集.
- 设计了一个视频-仪器协同网络 (VIS-Net),集成视频级和仪器级的知识.
- 设计了一个基于图形的关系感知模块 (GRM) 来建模多模式相关性 (文本和视频).
主要成果:
- 维斯网显著优于现有的最先进的引用细分方法.
- 在两个新建的RSVIS数据集上表现出卓越的性能.
- GRM有效地模拟多模式信息,以改进仪器级提取.
结论:
- 拟议的VIS-Net和GRM有效地解决了RSVIS任务.
- 这项工作促进了下一代外科教育系统的发展.
- 将发布代码和数据集,以促进RSVIS的未来研究.
