从名字中自动检测性别的比较分析:评估ChatGPT与Namsor的稳定性和性能,以及性别API
Adrián Domínguez-Díaz1, Manuel Goyanes2, Luis de-Marcos1
1Ciencias de la Computación, Universidad de Alcalá, Alcalá de Henares, Spain.
PeerJ. Computer science
|December 9, 2024
概括
聊天GPT在从名称中检测性别方面表现出高准确性和稳定性,优于传统工具. 它为性别推断提供了一个强大的替代方案,特别是在研究应用中.
科学领域:
- 计算社会科学 计算社会科学
- 自然语言处理自然语言处理.
- 性别研究是性别研究.
背景情况:
- 根据姓名进行性别分类对于社会科学研究至关重要.
- 传统的性别检测工具 (GDTs) 正被先进的人工智能所挑战.
- 与ChatGPT一样,交谈式人工智能为基于姓名的性别推断带来了新的前沿.
研究的目的:
- 统计评估ChatGPT (3.5 Turbo和4o) 在性别检测方面的稳定性和性能.
- 将ChatGPT的性别推断能力与已建立的GDT (Namsor,性别API) 进行比较.
- 评估ChatGPT的适用性,作为传统GDT的替代品,用于基于名称的性别分类.
主要方法:
- 利用了从先前研究中获得的5779个姓名记录的数据集.
- 经过统计测试的ChatGPT 3.5 Turbo和4o用于性别检测准确性和稳定性.
- 我们比较了ChatGPT与Namsor和性别API的性能,仅使用全名.
- 分析了分类准确度,标准偏差,置信区间和非分类率.
主要成果:
- 聊天GPT表现出高稳定性,低标准偏差和紧密的置信区间.
- 聊天GPT略高于传统的GDT,达到96%以上的准确性.
- 在考虑GDT概率时,性能差异很小 (约为3%).
- 聊天GPT显示非分类率显著降低 (在大多数测试中为0%).
结论:
- 聊天GPT提供了一个稳定和准确的替代品,用于从名称中推断性别.
- 虽然ChatGPT在减少非分类方面表现出色,但对于特定的研究需求,传统的GDT如Namsor可能会被优先考虑.
- 生成型语言模型代表了传统的性别API工具对基于名称的性别分类的强有力的进步.
