评估大型语言模型在构建一个结构化数据集从AskDocs的subreddit数据:方法论研究研究

科学领域:

• 数字健康数字健康
• 自然语言处理自然语言处理.
• 计算社会科学 计算社会科学

背景情况:

• 亚盘r/AskDocs是数字健康咨询的关键平台.
• 分析来自r/AskDocs等论坛的非结构化用户生成内容是一项挑战.
• 大型语言模型 (LLM) 为从社交媒体中提取健康信息提供了先进的工具.

研究的目的:

• 评估LLM在将非结构化r/AskDocs数据转化为结构化格式中的有效性.
• 将LLM数据提取性能与人类注释器进行比较.
• 评估基于LLM的数据提取与人类认知过程的一致性.

主要方法:

• 从2800个r/AskDocs帖子中提取数据,使用人类注释器 (医学学生) 和LLMs.
• 人类注释包括人口统计,调查类型,代理关系,慢性疾病和咨询状态.
• 在LLM数据提取中,使用Llama3,Genna和GPT等模型的工程提示 (JSON,几次拍摄) 进行数据提取;Cohen κ评估了注释器间的可靠性.

主要成果:

• 拉玛370B (7个几次拍摄的例子) 和GPT-4 (2个几次拍摄的例子) 实现了最高的精度 (87.4%),与人类注释的黄金标准相比.
• 拉玛370B在编码与健康有关的内容方面表现出卓越的表现.
• 在从非结构化职位中提取人口统计信息方面,GPT-4表现出色.

结论:

• 在从社交媒体健康论坛中提取人口统计和健康信息方面,LLM的表现与人类注释者相当.
• 这项研究验证了LLM作为分析数字健康通信的可靠工具.
• 通过了解在线行为和互动,LLM显示了在数字研究中推进方法的潜力.