扩大公共卫生 文本注释:零射击学习与众包,提高效率和标签准确性

科学领域:

• 公共卫生研究 公共卫生研究
• 计算社会科学 计算社会科学
• 医疗信息学 医疗信息学

背景情况:

• 社交媒体数据提供了对健康行为的洞察力,但需要手动注释,这耗时且昂贵.
• 需要自动化方法来有效处理大量的社交媒体数据,以进行公共卫生监测.

研究的目的:

• 与传统方法相比,评估大型语言模型 (LLM) 对社交媒体数据零射击标签的有效性.
• 评估LLM在不同注释任务中的表现,包括睡眠障碍,体力活动和久坐行为.

主要方法:

• 使用领域专家,人群工作者和LLM驱动的方法开发和比较多个注释管道.
• 采用了各种各样的提示工程策略,以优化LLM性能,以实现零射击分类任务.
• 分析了人类和基于LLM的标签之间的准确性和效率权衡.

主要成果:

• 在简单的分类任务中,LLM的性能与人类注释器相当.
• 基于LLM的标签显著减少了与数据注释相关的时间和成本.
• 对于要求专业领域知识和细微解释的任务,LLM准确性下降.

结论:

• 在公共卫生研究中,LLM为标记社交媒体数据提供了一个可扩展和高效的替代方案,特别是在更简单的任务中.
• 整合LLM可以简化研究工作流程,但对于复杂或敏感的健康相关数据,人类专业知识仍然至关重要.
• 调查结果强调了有效利用LLM的条件,以平衡公共卫生数据分析中的自动化可扩展性和基本的人类监督.