PH-LLM:公共卫生信息监控的大型语言模型

科学领域:

• 人工智能的人工智能
• 公共卫生信息学 公共卫生信息学
• 计算语言学 计算语言学

背景情况:

• 公共卫生干预需要公众的支持,通常受到社交媒体话语的影响.
• 实时社交媒体监控对于及时的公共卫生响应至关重要,特别是在紧急情况下.
• 现有的监测方法缺乏在线有效分析公众健康情绪的速度和范围.

研究的目的:

• 开发一套新的大型语言模型 (LLM) 套件,用于实时公共卫生信息监控.
• 创建一个能够在社交媒体上监控公共卫生问题的多语言AI系统.
• 为了解决为公共卫生政策调整提供及时数据分析的差距.

主要方法:

• 开发了PH-LLM (Public Health Large Language Models for Infoveillance),这是一套在来自36个数据集的593,100个指令-输出对的多语言集体上训练的LLM.
• 使用量化低级适配器 (QLoRA) 和LoRA加Qwen 2.5,支持29种语言,跨越6种模型大小 (0.5B到32B).
• 评估PH-LLM使用19个英语和20个多语言公共卫生任务的基准和52,158个未见的社交媒体数据对,与领先的开源和专有模型进行比较.

主要成果:

• 在19个英语和20个多语言任务中,PH-LLM在19个英语和20个多语言任务中始终超过了类似和更大的基线模型.
• PH-LLM-32B取得了最先进的结果,PH-LLM-14B和PH-LLM-32B超越了Qwen2.5-72B-Instruct,Llama-3.1-70B-Instruct,Mistral-Large-Instruct-2407和GPT-4o.等模型的性能.
• PH-LLM-7B表现出竞争力的表现,在英语任务中表现优于几款领先型号,尽管平均得分略低于Qwen2.5-7B-Instruct.

结论:

• PH-LLM提供了实时公共卫生信息监控的重大进步,具有最先进的多语言能力.
• 这些模型为通过社交媒体监测公众对健康问题的情绪提供了具有成本效益的解决方案.
• 在危机期间,PH-LLM可以加强机构的快速响应战略,政策制定和公共卫生沟通.