一种新的混合大型语言模型方法,用于报告全景射线图和与当前大型语言模型的性能比较

科学领域:

• 医疗成像中的人工智能
• 牙科放射学 牙科放射学
• 机器学习应用 机器学习应用

背景情况:

• 目前的多式人工智能系统由于诊断准确度低,幻觉率高,因此在全景射线图解读方面遇到了困难.
• 大型语言模型 (LLM) 对临床报告有希望,但需要与强大的图像分析进行集成以获得可靠性.

研究的目的:

• 开发和评估一个混合AI框架,将深度学习图像分析与LLM驱动的报告集成在一起,以提高牙科放射学的可靠性.
• 在报告准确性,结构有效性,一致性和幻觉率方面评估该框架的性能.

主要方法:

• 一个YOLOv12模型在30954张全景放射图上接受了训练,用于牙检测和14类细分.
• 检测和细分输出被转换为结构化的JSON数据,由本地托管的LLM进行处理 (DeepSeek R1,Mistral,Llama 3.2,Gemma 3,Qwen3,SmolLM3).
• 报告准确性在50张未见的放射图上进行了评估,将AI输出与专家评估进行了比较.

主要成果:

• 细分模型实现了整体F1得分为0.708,其中异位牙/超位牙 (0.994),冲击牙 (0.990),以及植入物 (0.984) 的高性能.
• 所有混合LLM都产生了结构有效的JSON输出 (100%). 深度搜索R1显示了最高的报告准确度 (466个真实发现) 和最低的幻觉 (30).
• 商业LLM在100%的报告中表现出幻觉,而混合框架显著降低了这些错误.

结论:

• 整合结构化图像衍生的发现与LLM推理显著提高报告准确性,并最大限度地减少牙科放射学中的幻觉.
• 开发的混合框架为人工智能辅助的牙科放射图解提供了一个有希望和可靠的解决方案,其性能优于目前的商业法学士学位.