开源的大型语言模型可以从放射学报告生成标签,用于训练卷积神经网络

科学领域:

• 医学成像分析 医学成像分析
• 医疗保健中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 训练卷积神经网络 (CNN) 用于医学图像分析需要广泛的标记数据集,这些数据集的创建是耗时和昂贵的.
• 放射学报告包含有价值的信息,但通常是无结构的,阻碍了在机器学习模型中直接使用.
• 大型语言模型 (LLM) 为解释和从非结构化文本数据中提取信息提供了一个潜在的解决方案.

研究的目的:

• 探索使用LLM来分类放射学报告和生成用于训练医学成像模型的标签的有效性.
• 开发和评估一个在LLM生成的标签上训练有素的CNN,用于检测脚骨折.
• 评估自动标签与传统手动标签方法的性能.

主要方法:

• 采用开放式重量LLM (Mixtral-8×7B-Instruct-v0.1) 来对脚X射线图像的放射学报告进行分类.
• 使用快速工程技术优化了LLM的分类准确性.
• 由LLM生成的标签被用来训练CNN进行脚骨折检测.

主要成果:

• 该LLM在测试数据集上的放射学报告的分类中实现了92%的准确性.
• 使用LLM,自动生成了15896张图像和标签的培训数据集.
• 在此数据集上训练的CNN实现了89.5%的准确性,并且在接收器操作特征曲线下面的面积为0.926,用于关节骨折检测.

结论:

• 基于LLM的自动标签为准备医疗图像分析数据集提供了高度准确和高效的方法.
• 使用LLM生成标签训练的模型的性能与使用手动标签数据训练的模型的性能相当.
• 在放射学报告中,LLM在自动检测病理方面的潜力显著,提高了诊断工作流程.