人工智能和理解的幻觉:思想理论和大型语言模型的系统审查
Antonella Marchetti1, Federico Manzi1, Giuseppe Riva2
1Department of Psychology, Research Center on Theory of Mind and Social Competences in the Lifespan, Università Cattolica del Sacro Cuore, Milan, Italy.
大型语言模型 (LLM) 在基本的思维理论 (ToM) 任务中表现有前途,但与人类不同的是,它在复杂的推理中扎. 方法上的局限性和缺乏真正的认知机制在人工ToM中创造了"理解的错觉".
科学领域:
- 认知科学 认知科学
- 人工智能的人工智能
- 心理学 心理学 心理学
背景情况:
- 大型语言模型 (LLM) 越来越复杂,促使人们研究它们对心智理论 (ToM) 的能力.
- ToM,即赋予心理状态的能力,是人类社会认知的基础.
- 人工ToM (AToM) 的概念探讨了LLM是否可以复制人类的ToM能力.
研究的目的:
- 系统地审查LLMs在ToM任务上的表现.
- 将LLM的表现与人类的ToM能力进行比较.
- 在当前的AToM评估中发现局限性和偏见.
主要方法:
- 系统审查现有研究评估LLMs关于思想理论任务的系统审查.
- 与人类基准相比,LLM在一级和二级信念任务上的表现.
- 分析AToM研究中的方法论方法和潜在偏见.
主要成果:
- 包括GPT-4在内的LLM在更简单的ToM任务中表现出色 (例如,一级错误信念),但在复杂的推理上失败 (例如,二级信念,递归推理).
- 在更复杂的ToM挑战中,人类的表现始终超过LLM.
- 对LLM的ToM任务设计和适应存在显著的变化,影响了与人类ToM的可比性.
结论:
- 目前的AToM评估可能会造成"理解的错觉",因为LLMs缺乏真正的ToM的发展/认知机制.
- 基于文本的任务中的方法学偏见有利于LLM的优势,阻碍了与人类社会认知的直接比较.
- 进一步的研究需要生态有效的多模式评估和跨学科的方法来准确地衡量AToM的潜力和局限性,质疑人类和人工ToM的可比性.
更多相关视频
10:11Portable Intermodal Preferential Looking IPL: Investigating Language Comprehension in Typically Developing Toddlers and Young Children with Autism
Published on: December 14, 2012
06:15Using the Visual World Paradigm to Study Sentence Comprehension in Mandarin-Speaking Children with Autism
Published on: October 3, 2018
相关概念视频
Language and Cognition
Introduction to Cognitive Psychology
This field emerged in the mid-20th century, following a period dominated by behaviorism, which...
Observational Learning
Modeling in Therapy
Participant Modeling
Participant modeling involves therapists demonstrating calm and effective behaviors in...
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Stereotype Content Model
