使用Reddit数据进行低资源医疗问题答案的双层检索增强生成框架:概念验证研究

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学
• 计算语言学 计算语言学

背景情况:

• 社交媒体提供了有关物质使用的宝贵数据,包括新型精神活性物质的副作用和模式.
• 对这种大量用户生成的内容进行医学洞察力的分析,与传统方法相比,具有挑战性.
• 大型语言模型 (LLM) 提供了潜力,但需要有效的架构来回答医疗问题.

研究的目的:

• 开发一个检索增强生成 (RAG) 架构,用于医疗问题解答.
• 利用用户生成的社交媒体数据来解决临床医生对新兴健康主题的查询.
• 创建一个能够从广泛的在线讨论中提取和总结相关信息的系统.

主要方法:

• 为以查询为中心的答案生成提出了一个双层RAG框架.
• 该框架的评估是使用来自社交媒体论坛的与毒品有关的信息的概念验证.
• 来自Reddit的用户生成的关于西拉和胺使用的数据被分析以回答临床医生的查询,比较量化LLM (Nous-Hermes-2-7B-DPO) 与GPT-4.

主要成果:

• 该RAG框架在相关性,长度,幻觉,覆盖范围和连贯性方面显示出与GPT-4相似的性能.
• 对于大多数评估指标,GPT-4和Nous-Hermes-2-7B-DPO之间没有发现统计学上显著的差异.
• 在Coleman-Liau指数中观察到一个统计学上显著的差异,表明可读性的变化.

结论:

• 开发的RAG框架有效地使用社交媒体数据来回答针对性的医疗问题.
• 该架构适合在资源有限的环境中部署.
• 这种方法提供了一种有效的方法,可以从大规模的在线用户生成内容中提取关键的健康信息.