文本熟练程度和视觉缺陷:对MRI人工物检测和纠正中的大型语言模型和放射科医生的比较研究

科学领域:

• 医疗成像中的人工智能
• 放射学和诊断成像 放射学和诊断成像
• 机器学习用于医疗保健

背景情况:

• 大型语言模型 (LLM) 在各种医疗应用中表现有前途.
• 评估LLM在专业诊断任务中的能力,如MRI文物检测至关重要.
• 目前的LLM在视觉解释任务中的表现仍然是研究的关键领域.

研究的目的:

• 评估多个LLM与放射科医生在检测和纠正MRI文物中的性能.
• 使用基于文本和视觉问答格式来比较LLM和放射科医生的能力.
• 评估随着时间的推移,LLM和放射科医生反应的时间一致性.

主要方法:

• 这是一项涉及6名LLM和5名放射科医生的横截面研究.
• 参与者完成了两轮的MRI文物基于文本和视觉评估.
• 答案使用利克尔特尺度进行管理和校正,并进行统计比较.

主要成果:

• 在基于文本的MRI文物问题上,LLM显著优于放射科医生.
• 放射科医生在视觉识别和纠正MRI文物方面表现出卓越的准确性.
• 顶尖的LLM在视觉任务中取得了有限的准确性 (18-20%),而放射科医生超过了90%.

结论:

• 法学士熟练掌握基于文本的文物知识,但缺乏视觉诊断能力.
• 目前的LLM不适合独立的MRI器件诊断.
• 在等待多式联络人工智能进步的情况下,LLM显示出作为教育工具或在循环系统中的人类的潜力.