GPT是多语言心理文本分析的有效工具

科学领域:

• 社会和行为科学 社会和行为科学
• 计算语言学计算语言学
• 心理学是一门科学.

背景情况:

• 自动化文本分析在社会和行为科学中越来越多地用于测量心理结构.
• 现有的方法往往缺乏跨语言能力,需要大量的专业知识.

研究的目的:

• 评估生成预训练变压器 (GPT) 模型在多种语言中进行自动化心理文本分析的有效性.
• 将GPT的性能与传统的基于字典的方法和微调的机器学习模型进行比较.

主要方法:

• 利用了15个数据集,包括47,925条注释的推文和新闻标题.
• 测试了GPT版本 (3.5 Turbo,4,4 Turbo) 用于在12种语言中检测心理构造 (情感,情绪,攻击性,道德基础).
• 将GPT的性能与英语词典分析和已建立的机器学习模型进行比较.

主要成果:

• GPT模型 (r = 0.59~0.77) 的表现明显优于英语词典分析 (r = 0.20~0.30).
• GPT的性能与性能最高的微调机器学习模型相当,有时甚至超过.
• 较新的GPT版本的性能得到了改善,特别是对于较少使用的语言,成本也下降了.

结论:

• GPT模型为自动化心理文本分析提供了一个高度准确,多功能和用户友好的替代方案.
• 在没有培训数据和简单提示的情况下运行GPT的能力使研究人员,包括那些研究资源不足的语言的研究人员,民主化了先进的NLP.
• 法律法学促进跨语言研究,使更广泛的科学界更容易获得复杂的文本分析.