一个双重注意力学习网络与词和句子嵌入为医学视觉问题回答
IEEE transactions on medical imaging
|October 9, 2023
概括
这项研究引入了一种新的双重注意力学习网络 (DALNet-WSE),用于医学视觉问题答案 (MVQA). 这种新方法通过提高医疗图像和文本的理解来增强计算机辅助诊断,以便更好地进行视觉推理.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 自然语言处理自然语言处理.
背景情况:
- 医学视觉问题答案 (MVQA) 对于计算机辅助诊断至关重要.
- 当前的MVQA方法往往忽略了文本中的医学概念,并与视觉-文本相关性作斗争.
- 有效的特征提取和理解是提高MVQA性能的关键.
研究的目的:
- 提出一个新的双重注意力学习网络,将词和句子嵌入 (DALNet-WSE) 进行增强的MVQA.
- 改善从文本和视觉特征中提取医学知识.
- 为了提高视觉推理能力在医疗问题回答.
主要方法:
- 开发了一个带有句子嵌入 (TSE) 模块的变压器,用于医疗问题的双嵌入表示.
- 引入了双重注意力学习 (DAL) 模块,其中包括自我注意力和指导注意力,用于内部和内部交互.
- 利用多个DAL模块来学习视觉和文本共同注意力,以获得细粒度的理解.
主要成果:
- 与最先进的方法相比,DALNet-WSE在VQA-MED 2019和VQA-RAD数据集上表现出卓越的性能.
- 废弃研究证实了拟议网络在提取丰富文本信息方面的有效性.
- 根据Grad-CAM分析,DALNet-WSE.病毒具有强大的视觉推理能力.
结论:
- 拟议的DALNet-WSE有效地解决了现有的MVQA方法的局限性.
- 该网络提高了对医疗图像和相关文本的理解,以改善诊断支持.
- DALNet-WSE显示了通过复杂的视觉推理来推进计算机辅助诊断的巨大潜力.


