联合大脑:具有层次知识增强的预训练的全脑MRI诊断
Jiayu Lei1, Lisong Dai2, Haoyun Jiang3
1School of Computer Science and Technology, University of Science and Technology of China, Hefei, Anhui, 230026, China; Shanghai Artificial Intelligence Laboratory, Shanghai, 200232, China.
概括
一个新的AI框架UniBrain通过整合成像和临床报告来增强大脑MRI诊断. 它实现了专家水平的准确性和在各种大脑疾病中强大的概括性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 神经学 神经学
背景情况:
- 磁共振成像 (MRI) 对于诊断大脑疾病至关重要.
- 现有的人工智能诊断工具面临由于数据集小和疾病范围狭窄的局限性,这阻碍了概括.
- 开发强大的人工智能用于普遍的大脑MRI诊断至关重要.
研究的目的:
- 引入UniBrain,一个层次知识增强的预培训框架,用于普遍的大脑MRI诊断.
- 为了提高AI模型的概括性和大脑MRI分析中的诊断准确性.
- 通过从临床报告中获得的结构化知识,实现高效的视觉语言对齐.
主要方法:
- 为了进行预训练,UniBrain使用了一个大规模的数据集 (24,770对成像-报告对).
- 一个层次对齐机制从多个细节的自由文本报告中提取结构化知识.
- 一个结合的视觉语言感知模块可以实现文本引导的多标签分类和零射击学习.
主要成果:
- 在域内和域外数据集上,UniBrain在现有最先进的模型上表现出卓越的性能.
- 该框架在特定的大脑疾病类别中实现了与放射科医生可比的性能.
- 在各种诊断任务中,UniBrain表现出强大的概括能力.
结论:
- 联合大脑在人工智能驱动的大脑MRI诊断方面取得了重大进展.
- 层次知识增强方法改善了特征学习和模型概括.
- 联合大脑显示出在神经学中广泛临床应用的巨大潜力.
更多相关视频
13:12Translational Brain Mapping at the University of Rochester Medical Center: Preserving the Mind Through Personalized Brain Mapping
Published on: August 12, 2019
44.9K
12:50Lesion Explorer: A Video-guided, Standardized Protocol for Accurate and Reliable MRI-derived Volumetrics in Alzheimer's Disease and Normal Elderly
Published on: April 14, 2014
39.7K
