确保隐私的开放权重的大型语言模型与封闭权重GPT-4o在从自由文本报告中提取胸部X-ray发现方面具有竞争力

科学领域:

• 医疗成像中的人工智能
• 临床数据的自然语言处理.
• 机器学习在放射学中的应用

背景情况:

• 临床数据库的大规模二次使用需要自动化工具来从自由文本放射学报告中提取结构化内容.
• 评估保护隐私的开放权重大语言模型 (LLM) 与已建立的基于规则的系统和封闭权重的LLM的有效性对于数据结构至关重要.

研究的目的:

• 评估开放式重量LLM在从放射学报告中提取结构化内容的性能.
• 将开放权重的LLM与基于规则的系统和封闭权重的LLM (例如OpenAI的GPT模型) 的功能进行比较.
• 通过使用低等级调整和4位量化等技术,研究微调对开放权重LLM性能的影响.

主要方法:

• 以17个开放重量的LLM进行零射击提示并与基于规则的注释和OpenAI的GPT模型对一个英语胸部X射线数据集进行比较的回顾性研究.
• 在德国胸部放射数据集上对开放重量的LLM进行局部微调的评估,比较性能与来自变压器 (BERT) 的双向编码器表示,具有不同的数据子集.
• 使用非重叠的95%置信区间 (CI) 的宏观平均F1分数来定义相关的性能差异.

主要成果:

• 对于英语报告,像Mistral-Large和Meta AI的Llama-3.1模型这样的开放重量的LLM显示了与OpenAI的GPT-4o相比的零射击性能,显著优于基于规则的CheXpert.
• 对于德国报道,Mistral-Large在开放重量LLM中获得了最高的零射击F1分数,超过了基于规则的注释.
• 1000个报告的微调开放权重LLM与BERT相比显著提高了性能;然而,在微调2000个或更多报告时,这种优势减少了.

结论:

• 开放权重的LLM显示出超越基于规则的系统的潜力,用于放射学报告数据库的零射击结构,提供与封闭权重模型竞争的保护隐私的替代方案.
• 与BERT相比,开放权重的LLM在微调中等数量的数据时表现出更高的性能,突出了它们在临床数据提取中的适应性.
• 这项研究强调了开放权重的LLM的可行性,用于从临床文本中高效和准确的回顾性内容提取.