通过微调微弱标签上的轻量级LLM来提高放射学报告中的疾病检测

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 在医学中显示出潜力,但面临模型大小和数据稀缺等局限性.
• 实际的医疗应用需要专门的LLM,在相关数据集上接受培训.

研究的目的:

• 为了研究微调轻型LLM (Llama 3.1-8B) 的有效性,使用合成标签用于医疗任务.
• 为了评估不同合成标签质量的LLM绩效.

主要方法:

• 在使用组合指令数据集的两个任务上共同微调Llama 3.1-8B.
• 使用由GPT-4o (高质量) 和MIMIC-CXR (低质量) 生成的合成标签.
• 通过微F1评分来评估疾病检测的性能.

主要成果:

• 拉玛3.1-8B通过高质量的合成标签在疾病检测方面获得了微F1得分0.91.
• 当用低质量的标签进行微调时,LLM在校准后超过了其杂的教师标签 (0.67对0.63).

结论:

• 用合成标签微调LLM是医疗领域专业化的可行策略.
• 轻量级的LLM具有固有的功能,可以通过合成数据来增强,即使标签是不完美的.