MacBehaviour:一个用于在大型语言模型上的行为实验的R包
Xufeng Duan1, Shixuan Li2, Zhenguang G Cai3,4
1Department of Linguistics and Modern Languages, The Chinese University of Hong Kong, Hong Kong, China. xufeng.duan@link.cuhk.edu.hk.
Behavior research methods
|December 18, 2024
概括
研究人员开发了"MacBehaviour",这是一个R包,用于在心理实验中研究大型语言模型 (LLM). 这个工具简化了LLM的行为研究,揭示了类似人类的性别推断,从像GPT-3.5 Turbo.这样的模型中的名字中推断出来.
科学领域:
- 认知科学 认知科学
- 人工智能的人工智能
- 计算语言学 计算语言学
背景情况:
- 大型语言模型 (LLM) 和LLM驱动的聊天机器人越来越多地使用心理学实验方法进行研究.
- 现有的研究通常将LLM视为参与者,因此需要有效的行为实验工具.
研究的目的:
- 引入"MacBehaviour",一个R包,旨在简化使用LLMs进行心理实验的过程.
- 为研究人员提供一个用户友好的工具,用于实验设计,刺激呈现,模型行为操纵和数据记录.
主要方法:
- 开发了"MacBehaviour" R包,可以与100多个LLM (例如GPT,Claude,Gemini,Llama) 进行交互.
- 实验设置,刺激传递,响应记录和代币概率分析的实现功能.
- 通过对GPT-3.5 Turbo,Llama-2-7b-chat-hf和Vicuna-1.5-13b进行三次实验来验证该包.
主要成果:
- "MacBehaviour"套件成功促进了LLM的行为实验.
- 对声音与性别关联研究的复制表明,经过测试的LLM表现出类似人类的倾向,根据语音学推断基于新个人名的性别.
- LLM 显示了一致的模式,反映了人类在性别关联中的认知偏见.
结论:
- "MacBehaviour"是一个有价值的,用户友好的R包,简化和标准化机器行为研究.
- 该套餐提高了研究LLM认知和行为的研究人员的可访问性.
- 这些发现证实了LLM对类似人类的语音基于性别推断的能力,进步了我们对AI认知的理解.
