基于变压器的机器人超声波3D跟踪,用于胃肠道囊机器人的3D跟踪

科学领域:

• 医疗成像医学成像
• 机器人技术 机器人技术 机器人技术
• 人工智能的人工智能

背景情况:

• 超声波 (美国) 影像为囊内镜提供实时监测,但面临着视野狭窄和气体充满区域的可见性差等局限性.
• 检测外平面运动和工件的挑战阻碍了在胃肠道 (GI) 管中的囊内镜的准确跟踪.

研究的目的:

• 开发一种新的机器人超声波追踪系统,用于长距离3D追踪囊内镜.
• 为了使囊内镜在因运动或文物而失去跟踪时能够积极重新定位.

主要方法:

• 一个混合深度学习框架,结合卷积神经网络 (CNN) 和变压器骨干,被开发用于美国图像分析.
• 深度学习模型与机器人臂集成,用于自适应扫描和追踪囊.
• 在模拟的临床条件下使用ex vivo结肠幽灵来评估性能,包括物理干扰和气体工件.

主要成果:

• 该系统实现了90厘米的连续3D跟踪,平均定位误差为1.5毫米,检测准确度超过90%.
• 在复杂的,曲的工作空间中展示了强大的3D跟踪,显示了对运动工件和几何变化的弹性.
• 保持9-12 FPS的实时跟踪,并在几秒钟内成功重新定位了囊,即使有气体文物和声学影像.

结论:

• 混合CNN变压器系统可实现自动,实时的3D超声波追踪,以毫米级准确度长距离追踪囊机器人.
• 该系统可靠地处理闭塞,视图损失和文物,通过自主检测和重新定位显著减少临床工作负载.
• 未来的工作重点是改善探针-组织相互作用,并在实体试验中验证性能.