众包与增强的数据质量保证:一个有效的方法,以减轻资源稀缺的挑战在培训医疗保健大型语言模型的训练

科学领域:

• 人工智能的人工智能
• 医疗保健信息学 医疗保健信息学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 在医疗保健方面具有前景,但需要高质量的标记数据.
• 数据获取是具有挑战性和昂贵的,特别是在资源较低的医疗保健环境中.
• 现有的方法在专门的AI应用中与数据质量作斗争.

研究的目的:

• 开发和评估一个众包框架,对医疗保健数据进行综合质量控制.
• 评估增强数据质量的LLM绩效对自闭症症状预测的影响.
• 解决资源有限的医疗保健领域的数据稀缺和质量问题.

主要方法:

• 实施众包框架,对数据收集前,实时和后进行质量控制.
• 使用定量指标对数据质量改进的评估.
• 一个针对医疗保健的LLM (Bio-BERT) 在众包数据上的微调,用于自闭症症状预测.
• 与基线模型对比LLM绩效的比较.

主要成果:

• 实时质量控制显示数据质量比质量前控制措施有19%的改善.
• 微调生物BERT与众包数据导致回忆力增加,但与基线相比精度降低.
• 众包方法显示了在数据有限的场景中提高LLM性能的潜力.

结论:

• 通过强有力的质量控制增强的众包是获得高质量的医疗保健数据的可行策略.
• 优化数据采集可以提高LLM在医疗保健中的有效性,特别是对于诸如症状预测等任务.
• 调查结果为开发更有效,更节省资源的医疗保健人工智能解决方案提供了见解.