使用大型语言模型来支持内容分析:ChatGPT用于不良事件检测的案例研究

科学领域:

• 人工智能的人工智能
• 生物医学研究生物医学研究
• 计算语言学 计算语言学

背景情况:

• 对社交媒体数据的内容分析对于识别不良事件至关重要.
• 人类手动注释是耗时和资源密集的.
• 大型语言模型 (LLM) 提供了自动化和提高内容分析效率的潜力.

研究的目的:

• 评估一个大型语言模型ChatGPT在从社交媒体数据中识别不良事件 (AE) 的有效性.
• 为了比较ChatGPT与人类注释器在检测与delta-8-tetrahydrocannabinol相关的副作用方面的表现.
• 评估LLMs在提高生物医学研究内容分析效率方面的潜力.

主要方法:

• 使用有关delta-8-tetrahydrocannabinol的社交媒体帖子进行了一项案例研究.
• 聊天GPT提供了对人类注释者进行AE检测的相同指令.
• 通过将ChatGPT的AE检测率与人类注释者的AE检测率进行比较来衡量性能,使用Fleiss' kappa来衡量评估者之间的可靠性.

主要成果:

• 在检测任何不良事件方面,ChatGPT与人类注释者达成高度一致 (94.4%, κ=0.95).
• 在识别严重不良事件方面,ChatGPT取得了近乎完美的一致性 (99.3%, κ=0.96).
• 结果表明,ChatGPT能够准确有效地复制人类注释任务.

结论:

• 以ChatGPT为例的大型语言模型显示了生物医学研究中准确和高效的内容分析的巨大潜力.
• 实际上,LLM可以有效地帮助识别来自社交媒体等非结构化数据的不良事件.
• 建议进行进一步的研究,以探索不同模型,数据集和分析任务的概括性.