深度学习模型连接图像和文本:放射科医生的入门书
An Ni Wu1, Merve Kulbay1, Phillip M Cheng1
1From the Departments of Radiology, Radiation Oncology, and Nuclear Medicine, Centre hospitalier de l'Université de Montréal, Université de Montréal, 1000 rue Saint-Denis, D03.5431, Montreal, QC, Canada H2X 0C1 (A.N.W., A.C.C., L.L.G., A.T.); Centre de recherche du Centre hospitalier de l'Université de Montréal, Montreal, Quebec, Canada (A.N.W., M.K., L.L.G., E.M., I.B.A., A.T.); Department of Ophthalmology and Visual Sciences, McGill University, Montreal, Quebec, Canada (M.K.); Department of Radiology, Keck School of Medicine of the University of Southern California, Los Angeles, Calif (P.M.C.); Department of Medical Imaging, CISSS Lanaudiére, Université Laval, Joliette, Quebec, Canada (A.C.C.); AFX Medical, Montreal, Quebec, Canada (G.C.); Department of Medical Imaging, Western University, London, Ontario, Canada (J.C.); École de Technologie Supérieure, Montreal, Quebec, Canada (I.B.A.); and Institute of Biomedical Engineering, Université de Montréal, Montreal, Quebec, Canada (A.T.).
深度学习模型正在推进医学图像和文本之间的连接,简化放射学工作流程. 这些创新有望提高临床实践中的诊断准确性和效率.
科学领域:
- 人工智能在医学中的应用
- 医学成像信息学 医疗成像信息学
背景情况:
- 放射学实践依赖于放射科医生解释医疗图像并生成文本报告.
- 深度学习的最新进展有助于图像和文本数据的整合.
研究的目的:
- 探索深度学习模型在连接医疗图像和文本方面的潜力.
- 为了分类链接图像和文本数据的模型.
- 确定放射学工作流程的临床应用和益处.
主要方法:
- 审查数据嵌入,自主监督学习,零射击学习和变压器架构的最新技术发展.
- 图像-文本模型的分类为文本-图像对齐,图像-文本,文本-图像和多模式方法.
主要成果:
- 深度学习模型可以对准文本和图像,从图像生成描述,从文本创建图像,并集成多式联络数据.
- 潜在的应用包括自动化图像标题,初步报告生成和教育图像创建.
结论:
- 这些人工智能驱动的进步可以通过优先考虑病例,简化工作流程和提高诊断准确度来增强放射学.
- 深度学习在放射学中的整合对临床实践具有重大前景.


