评估大型语言模型预测人类社会决策的能力
Feng Xiao1, X T XiaoTian Wang2
1Department of Applied Psychology, School of Humanities and Social Science, The Chinese University of Hong Kong (Shenzhen), 2001 Longxiang Boulevard, 518172, Shenzhen, China.
大型语言模型 (LLM) 显示出与人类不同的决策模式,特别是在社会背景和风险偏好方面. LLM 缺乏人类对亲属关系和群体规模的敏感性,为心理图灵测试提供了洞察力.
科学领域:
- 认知科学
- 人工智能
- 进化心理学
背景情况:
- 大型语言模型 (LLM) 显示出预测人类决策的潜力.
- 了解人工智能的决策与人类心理学一致对于人工智能发展至关重要.
研究的目的:
- 将LLM (GPT-3.5,GPT-4,GPT-4o) 的预测与各种场景中的人类决策进行比较.
- 调查LLM的风险偏好和对亲属关系和群体规模等社会因素的敏感性.
- 根据决策模式确定心理图灵测试的标准.
主要方法:
- 在51种情景中对9,600个GPT-3.5/GPT-4反应进行比较分析,对2,104名人类参与者的数据进行比较.
- 在八个社会群体和亲属关系条件下对GPT-4o的1600个反应进行评估.
- 进化心理学框架和前景理论的应用.
主要成果:
- 人类在生死决策中对亲属关系和群体规模的敏感度比LLM更高.
- 与人类相比,LLM表现出不同的风险寻找模式,通常会逆转前景理论的价值函数.
- 与人类相比,GPT-4的风险偏差和GPT-4o对群体大小的影响的预测相反.
结论:
- 人类和LLM具有不同的决策启发方法,特别是关于社会背景和风险.
- 框架效应和社会背景的风险偏好是心理图灵测试的关键差异化因素.
- 需要进一步的研究来完善人工智能与人类社会认知和决策的结合.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
05:15The Spatial Memory Game: Testing the Relationship Between Spatial Language, Object Knowledge, and Spatial Cognition
Published on: February 19, 2018
相关概念视频
Stereotype Content Model
Language and Cognition
Social Proof
Decision Making: Traditional Method
First, a specific claim about the population parameter is decided based on the research question and is stated in a simple form. Further, an opposing statement to this claim is also stated. These statements can act as null and alternative hypotheses, out of which a null hypothesis would be a...
Decision Making
Automatic decision-making is fast, intuitive, and relies on gut feelings...
Relationship Formation
