一对一的注意力:生物医学数据的可扩展多模式集成

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 医疗信息学 医疗信息学

背景情况:

• 多模式模型在各种任务中优于单模式方法,包括疾病诊断.
• 目前的多模式研究主要侧重于视觉语言应用程序,其模式有限 (通常<=4).
• 医疗保健数据通常涉及多种模式 (例如,X射线,PET,MRI,基因组学,临床笔记),需要有效的整合方法.

研究的目的:

• 解决现有的注意力机制在整合众多模式中的计算瓶.
• 提出一种新的,可扩展的注意力机制,以有效地整合医疗保健中的多式联络数据.
• 评估与最先进的技术相比拟的方法的性能和效率.

主要方法:

• 开发了一种名为One-Versus-Others (OvO) 关注的新注意力机制.
• OvO注意力表现出线性可扩展性与模式的数量,与交叉注意力和自我注意力的二次扩展不同.
• 评估了OVO关注三个不同的临床数据集,具有多种模式.

主要成果:

• OVO注意力显著降低了计算复杂性,与模式的数量线性扩展.
• 该方法在临床数据集中至少减少了浮点操作 (FLOP) 的91.98%.
• 与现有的多式联络整合技术相比,OVO的注意力保持或提高了性能.

结论:

• 一对一的注意力 (OvO) 为整合大量模式提供了一个计算效率高的解决方案.
• 拟议的方法克服了传统关注机制的局限性,使多式联络模式在医疗保健中得到更广泛的采用.
• OVO的注意力促进了高效和准确的多模式预测,在临床环境中推进了AI应用.