SGT++:改进的场景图形引导变压器用于手术报告生成

科学领域:

• 医疗信息学 医疗信息学
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 自动化手术记录和报告生成对于减少外科医生的工作量和提高操作重点至关重要.
• 现有的方法难以建模仪器-组织相互作用,并捕捉手术图像中的细粒度差异.

研究的目的:

• 开发一个改进的场景图形导向变压器 (SGT++),用于更准确的手术报告生成.
• 解决在外科手术过程中建模交互关系和细粒度视觉细节方面的局限性.

主要方法:

• 提出了改进的场景图形引导变压器 (SGT++),以学习手术仪器和组织之间的明确和隐性相互作用.
• 开发了一种用于图形学习的异质场景图的同质化方法.
• 引入了一个以注意力诱导的图形转换器,用于使用原型内存的显式关系意识编码和隐式关系注意力.

主要成果:

• SGT++模型有效地学习了手术仪器和组织之间的明确和隐含关系.
• 通过将明确的和隐含的信息结合起来,可以获得融合的关系意识表示.
• 在两个手术数据集上取得了最先进的结果.

结论:

• SGT++模型在自动化外科报告生成方面取得了显著的改进.
• 准确建模仪器-组织相互作用和细粒度的视觉细节对于提高性能至关重要.
• 提出的方法为减轻外科医生的工作负担和改善外科手术文档提供了一个有希望的解决方案.