相关实验视频
Updated: Jul 15, 2025
13:51
Cross-Modal Multivariate Pattern Analysis
Published on: November 9, 2011
20.0K
不对称的跨模式注意网络与多式联络增强混合用于医疗视觉问题回答
Yong Li1, Qihao Yang1, Fu Lee Wang2
1School of Computer Science, South China Normal University, Guangzhou, China.
Artificial intelligence in medicine
|October 2, 2023
概括
本研究介绍了ACMA-MAM,这是一种新的网络和数据增强技术,可以在有限的数据中提高医疗视觉问题答案 (VQA) 性能. 这种方法显著提高了基准数据集的准确性和F1分数.
科学领域:
- 人工智能的人工智能
- 医学成像分析 医学成像分析
- 计算机视觉 计算机视觉
背景情况:
- 医学视觉问题答案 (VQA) 模型在训练数据不足的情况下扎,阻碍了多式联络和问题的理解.
- 现有的模型面临着从有限的数据集中有效学习的挑战,这影响了它们在临床应用中的表现.
研究的目的:
- 提出一种新的非对称交叉模式注意力 (ACMA) 网络和多模式增强混合 (MAM) 数据增强方法,以解决医疗VQA中的数据稀缺问题.
- 为了增强多式联络互动,并提高医学VQA模型的语义理解,使用有限的数据.
主要方法:
- 开发了非对称交叉模式注意力 (ACMA) 网络,使用图像引导和问题引导的注意力机制.
- 引入语义理解辅助器 (SUA) 在以问题为导向的注意力中,以整合单词和句子级语义信息.
- 拟议的多模式增强混合 (MAM) 来生成多样化的训练数据,改善没有手动注释的模型概括.
主要成果:
- 该ACMA-MAM模型在VQA-Rad,VQA-Slake和PathVQA数据集上取得了最先进的结果.
- 在各自的数据集上实现了76.14%,83.13%和53.83%的准确性,超过了以前的模型.
- 获得78.33%,82.83%和51.86%的F1分数,在医疗VQA任务中表现出卓越的表现.
结论:
- 拟议的ACMA-MAM有效地克服了医疗VQA培训数据不足的挑战.
- 新的注意力机制和数据增强策略显著提高了模型性能和概括性.
- ACMA-MAM代表了医疗VQA系统的重大进步,特别是在数据有限的场景中.
