评估与公共社交媒体数据相关的健康相关文本分类任务的大型语言模型

科学领域:

• 自然语言处理自然语言处理.
• 机器学习 机器学习
• 医疗信息学 医疗信息学

背景情况:

• 大型语言模型 (LLM) 在自然语言处理 (NLP) 任务中表现出色.
• 对社交媒体健康文本分类的LLM进行评估至关重要.
• 像支持矢量机器 (SVM) 这样的传统模型是常见的基准.

研究的目的:

• 评估LLM在社交媒体上与健康相关的文本分类方面的表现.
• 将LLM与传统的SVM和监督预训练语言模型 (PLM) 进行比较.
• 探索利用LLM的不同策略:零射击分类,数据注释和数据增强.

主要方法:

• 基于基准的1个SVM,3个监督的PLM和2个基于LLM的分类器.
• 评估了6个文本分类任务.
• 开发并测试了三个LLM利用方法:零射击,数据注释和少数射击数据增强.

主要成果:

• 在大多数任务中,LLM零射击分类器 (GPT-3.5和GPT-4) 的表现优于SVM.
• 仅仅对LLM注释数据的培训效果不如人类注释数据.
• 用GPT-4增强数据提高了性能,超过或匹配人类注释的数据.
• GPT-3.5数据增强可能会损害模型性能.

结论:

• 作为健康文本的零射击分类器,LLM是有效的,其性能优于SVM,并改善了回忆.
• 在没有人类监督的情况下使用LLM注释数据用于培训监督模型是无效的.
• 由GPT-4驱动的数据增强显示了开发高效的,特定于领域的NLP模型的潜力,数据需求减少.