生成型LLM可以帮助分类不平衡的现实世界数据吗? 在社交媒体上探索罕见疾病

科学领域:

• 自然语言处理自然语言处理.
• 计算语言学 计算语言学
• 社交媒体分析 社交媒体分析

背景情况:

• 发育性和性脑病变 (DEE) 是一种罕见的,严重的神经系统疾病.
• 社交媒体平台是了解患有罕见疾病的患者和家庭经历的宝贵来源.
• 数据不平衡在分析在线罕见病讨论时构成了重大挑战.

研究的目的:

• 评估生成型大语言模型 (LLM) 的有效性,用于对与DEE相关的社交媒体帖子进行分类.
• 为了比较基于零射击提示的分类与合成数据增强来解决数据不平衡.

主要方法:

• 使用CamemBERT作为二进制分类任务的基线模型.
• 实施了基于提示的零射击分类策略.
• 雇佣了生成的LLM来创建合成数据以增加少数群体 (DEE相关职位).
• 在不同策略和合成数据比例中比较性能指标 (宏观/积极F1,精度,回忆).

主要成果:

• 基于零射击提示的分类显示表现不佳.
• 添加一小部分 (2%) 的合成数据显著改善了所有评估的指标.
• 将合成数据的比例增加到2%以上,导致分类精度下降.

结论:

• 生成型LLM在社交媒体上确定罕见疾病经验方面表现有前途.
• 混合方法将LLM微调与特定领域的合成数据相结合,有效地减轻罕见病研究中的数据不平衡.
• 需要在各种模型和数据集上进行进一步的研究和验证,以证实这些发现.