大型语言模型的心理测量评估 嵌入人格特征预测的嵌入
Julina Maharjan1, Ruoming Jin1, Jianfeng Zhu1
1Department of Computer Science, Kent State University, 800 East Summit Street, Kent, OH, 44242, United States, 1 3305931365.
大型语言模型 (LLM) 嵌入显著优于人格评估的零射击方法,在没有广泛的特征工程的情况下捕获语言模式. 这些嵌入显示中等可靠性和与语言和情感标记有很强的相关性.
科学领域:
- 计算语言学 计算语言学
- 心理测量 心理测量 心理测量
- 人工智能的人工智能
背景情况:
- 大型语言模型 (LLM) 显示出对评估心理构造,如人格特征的希望.
- 之前的研究集中在零射击或少数射击推断上,LLM嵌入的心理测量验证有限.
- 与传统的特征工程相比,LLM嵌入的有效性对于人格评估是未被充分探索的.
研究的目的:
- 评估LLM嵌入用于人格特征预测.
- 将LLM嵌入式与零射击方法和传统功能工程进行比较.
- 评估LLM嵌入的心理测量有效性和与语言/情感标记的相关性.
主要方法:
- 从使用 RoBERTa,BERT 和 OpenAI LLM 架构的 100 万个 Reddit 帖子中生成文本嵌入.
- 训练了一种双向的长期短期记忆模型进行人格预测,并将其与零射击推理进行比较.
- 评估心理测量有效性 (可靠性,收有效性) 和与LIWC和情感特征相关的嵌入.
主要成果:
- 在人格特征方面,LLM嵌入显著超过了45%的零射击方法.
- 观察到中等可靠性 (Cronbach α = 0.63),嵌入和语言/情感标记之间有很强的相关性.
- 士学位嵌入本质上捕捉了关键的语言特征,否定了高级特征工程的性能收益.
结论:
- 在个人特征分析中,LLM嵌入提供了一个强大的,高效的替代方法,而不是零射击方法.
- 嵌入式有效地捕捉语言模式,减少了需要广泛的特征工程的需求.
- 未来的研究应该专注于微调策略,以提高LLM嵌入的心理测量有效性.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
05:48Author Spotlight: Investigating the Impact of Emotional Prosodies on Voice Recognition and Perception
Published on: August 9, 2024
相关概念视频
Introduction to Personality Psychology
Early Theories of Personality
The study of...
Five-Factor Theory of Personality
Openness reflects creativity, curiosity, and openness to new experiences. Individuals scoring high in openness are imaginative, have a wide range of interests, and are independent...
Personality Theory by Eysenck and Eysenck
In the extroversion/introversion dimension, highly extroverted people are sociable, outgoing, and easily connect with others. In contrast,...
Self-Report Tests of Personality
Cattell's 16 Personality Factors
In contrast, source traits are the...
Trait Theory by Gordon Allport
