将放射科医生的诊断准确度与GPT-4V和Gemini Pro Vision进行比较,使用诊断请案例的图像输入
Pae Sun Suh1, Woo Hyun Shim1, Chong Hyun Suh1
1From the Department of Radiology and Research Institute of Radiology, University of Ulsan College of Medicine, Asan Medical Center, Olympic-ro 33, Seoul 05505, Republic of Korea (P.S.S., W.H.S., C.H.S., H.J.E., K.J.P., J.C., P.H.K., H.J.P., Y.A., H.Y.P.); Department of Radiology and Research Institute of Radiological Science and Center for Clinical Imaging Data Science, Yonsei University College of Medicine, Seoul, Republic of Korea (P.S.S.); Department of Medical Science, University of Ulsan College of Medicine, Asan Medical Institute of Convergence Science and Technology, Seoul, Republic of Korea (W.H.S., H.H., C.R.P.); Medical Research Institute, Ganneung Asan Hospital, University of Ulsan College of Medicine, Gangneung, Republic of Korea (Y.C.); Department of Internal Medicine, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea (C.Y.W.); and Department of Pulmonary and Critical Care Medicine, Gumdan Top Hospital, Incheon, Republic of Korea (H.P.).
像GPT-4V和Gemini Pro Vision这样的大型语言模型 (LLM) 在分析医疗图像时,在更高的温度设置下显示出更好的诊断准确性. 虽然放射科医生仍然优于LLMs,但GPT-4V显示出作为诊断支持工具的希望.
科学领域:
- 人工智能在医学中的应用
- 医学成像诊断 诊断 医学成像诊断
- 自然语言处理自然语言处理.
背景情况:
- 具有直接图像输入的多式大型语言模型 (LLM) 的诊断功能尚未得到充分理解.
- 对于LLM温度参数对诊断准确性的影响需要进一步研究.
研究的目的:
- 评估GPT-4V和Gemini Pro Vision在医疗图像上产生差异诊断的能力.
- 将LLM诊断性能在不同的温度设置 (0,0.5,1) 与专家放射科医生进行比较.
主要方法:
- 对190个放射学诊断病例 (2008-2023) 的回顾性分析.
- LLM接收到图像,病史和人物传说;生成3个差异诊断,在每个温度下重复5次.
- 放射科医生的诊断与LLM输出进行了比较;在模型,温度和子专业中评估了准确性.
主要成果:
- 对于GPT-4V (41%-49%) 和Gemini Pro Vision (29%-39%),总体准确度随温度的增加而增加.
- 放射科医生在T1 (39%,P <.001) 获得的整体精度比Gemini Pro Vision在T1 (39%,P <.001) 更高 (61%).
- 在T1的GPT-4V (49%) 与放射科医生相比没有统计学上显著的差异 (P = .02),但放射科医生在大多数子专业中表现优于LLM.
结论:
- 增加温度设置提高了使用直接图像输入的GPT-4V和Gemini Pro Vision的诊断准确度.
- 尽管GPT-4V的性能略低于放射科医生,但它显示出作为辅助诊断工具的有希望的潜力.
- 在诊断决策过程中,LLM显示出有助于诊断决策的潜力,因此需要对其临床应用进行进一步的研究.
更多相关视频
14:08Automated Midline Shift and Intracranial Pressure Estimation based on Brain CT Images
Published on: April 13, 2013
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
