聊天GPT和微调开放预训练变压器 (OPT) 与广泛使用的情绪分析工具的比较:COVID-19调查数据的情绪分析

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学
• 人工智能的人工智能

背景情况:

• 情绪分析工具由于在其他领域的发展,经常与与健康相关的调查数据作斗争.
• 当前的工具在应用于医疗保健环境时缺乏准确性和一致性.
• 需要对COVID-19健康数据的情绪分析工具进行比较分析.

研究的目的:

• 为了比较情绪分析工具对健康相关的自由文本调查数据的性能.
• 在两个独立的COVID-19调查数据集中自动预测句子情绪.
• 评估大型语言模型 (LLM) 在健康数据情绪分析中的有效性.

主要方法:

• 创建了使用人类评分器的黄金标准标签,用于两个COVID-19数据集的子集.
• 对比了八个最先进的情绪分析工具,以查看变化和分歧.
• 探索了使用开放预训练变压器 (OPT) 的少量射击学习和使用ChatGPT的零射击学习.

主要成果:

• 在对健康调查数据的情绪分析工具中观察到显著的变化和分歧.
• 开放预训练变压器 (OPT) 和ChatGPT的性能优于其他工具.
• 与OPT相比,ChatGPT表现出更高的性能,精度和F-测量更高.

结论:

• 大型语言模型 (LLM),特别是通过少数射击和零射击学习,对于健康调查数据情绪分析是有效的.
• 法律法规可以显著减少人力劳动,提高情绪分析任务的效率.
• 这项研究推进了医疗保健领域的自动化情绪分析.