评估和增强日语大语言模型用于遗传咨询支持:对域调整的比较研究和专家评估数据集的开发

科学领域:

• 遗传学和生物信息学 遗传学和生物信息学
• 医疗保健中的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 由于遗传学的进步,对遗传咨询的需求越来越大.
• 由于缺乏合格的遗传咨询师,需要创新的解决方案.
• 大型语言模型 (LLM) 提供了增加遗传咨询支持的潜力.

研究的目的:

• 评估日本遗传咨询LLMs (JGCLLMs) 并确定发展挑战.
• 评估快速工程,检索增强生成 (RAG) 和指令调整的有效性.
• 为未来的JGCLLM开发建立一个专家评估的数据集.

主要方法:

• 利用质量保证和遗传咨询问题数据集用于LLM适应和评估.
• 应用指令调,RAG和提示工程到一个轻量级的日本LLM.
• 通过使用包括信息适当性,充分性,危害和医疗共识一致性在内的指标评估适应的LLM绩效.

主要成果:

• 检索增强生成 (RAG) 显示出显著的潜力,特别是在关键的遗传咨询领域.
• 与RAG相比,指令调整和快速工程产生了不那么有利的结果.
• 确定了伦理问题,包括不适当地推广产前检测和不准确的概率陈述.

结论:

• 通过数据扩展,RAG显示了增强JGCLLM的前景,并有可能通过数据扩展进一步改进.
• 专家评估的数据集为优化JGCLLMs.提供了有价值的数据.
• 伦理考虑至关重要,在临床部署之前需要严格的改进和评估.