使用大型语言模型,从低资源语言的噪音数据中提取和预先注释心理健康的文本
Sergei Koltcov1, Anton Surkov1, Olessia Koltsova1
1Laboratory for Social & Cognitive Informatics, National Research University Higher School of Economics, St. Petersburg, Russia.
PeerJ. Computer science
|December 9, 2024
概括
大型语言模型 (LLM) 对精神卫生保健对话代理 (CA) 显示出希望. 微调的LLM显著改善了精神疾病的文本分类,优于零射击方法.
科学领域:
- 自然语言处理自然语言处理.
- 人工智能在心理健康护理中的应用
- 计算语言学 计算语言学
背景情况:
- 大型语言模型 (LLM) 的进步为心理健康保健对话代理 (CA) 提供了潜力.
- 有限的高质量的培训数据,隐私问题和高的注释成本阻碍了LLM的发展,特别是对于资源较低的语言.
- 公开可用的社交媒体讨论很,需要LLM适应数据清理和预分类,以减少手动注释.
研究的目的:
- 探索零射击分类的潜力,使用LLMs预先将心理健康文本分类为精神疾病主题.
- 促进CA的发展,用于特定疾病的心理健康咨询.
- 引入第一个公开可用的俄语数据集和心理健康咨询CA发展的模型.
主要方法:
- 使用四个LLM的零射击分类来选择和预分类俄语文本到七个精神疾病类别.
- 对比零射击预过与LLM微调 (标准和自然语言推理模式) 进行分类准确性.
- 评估了 lemmatization 的影响以及多语言与仅英语模型在翻译文本上的表现.
主要成果:
- 与初步过的非微调方法相比,LLM微调显著提高了分类准确性 (超过三倍).
- 自然语言推断 (NLI) 微调实现了略高的精度 (0.64),但比标准微调慢六倍.
- 语种化并没有影响分类质量;多语言模型在翻译数据上表现略好于只使用英语的模型.
结论:
- 在心理健康应用中,LLM微调对于提高文本分类质量至关重要,大大改善了零射击方法.
- 虽然NLI微调显示出希望,但其计算成本需要进一步研究假设工程以提高效率.
- 开发的俄语数据集和模型代表了一个有价值的,公开可访问的资源,用于推进心理健康CA.
