大型语言模型在美国消费者财务投诉中的采用和有效性

科学领域:

• 消费者保护法 消费者保护法
• 金融领域的人工智能
• 行为经济学是一种行为经济学.

背景情况:

• 向美国消费者金融保护局 (CFPB) 提交的消费者投诉是解决金融不当行为的关键机制.
• 大型语言模型 (LLM) 的快速发展和公开发布,如ChatGPT,在面向消费者的数字互动中带来了新的机遇和挑战.
• 了解新兴技术对消费者投诉解决的影响对于监管机构和消费者倡导至关重要.

研究的目的:

• 调查采用大型语言模型 (LLM) 对消费者财务投诉解决的因果关系.
• 分析LLM影响投诉结果的机制,特别是关于投诉的陈述和事实内容.
• 评估LLM是否起到均衡作用,改善了那些可能面临不利影响的消费者的结果.

主要方法:

• 对2015年至2024年美国消费者金融保护局1,134,512起投诉的大量数据集进行分析.
• 仪器变量分析以估计LLM使用对获得有利救济的因果关系影响.
• 三个在线受控实验 (N=1,010) 来测试LLM影响投诉呈现和结果的特定机制.

主要成果:

• 在ChatGPT发布后,LLM使用量显著增加.
• 据估计,LLM的使用将获得有利救济的概率提高6.9个百分点 (95%CI:4.9,8.9).
• 实验结果证实,LLM提高了投诉的呈现,从而增加了补救的可能性,而不改变事实内容,并揭示了在LLM采用中负面选择的证据.

结论:

• 通过提高投诉的清晰度和呈现方式,大型语言模型可以显著改善消费者在解决财务投诉方面的结果.
• 实际上,LLM显示出其作为"均衡器"的潜力,可以减轻一些消费者在投诉过程中所面临的不利因素.
• 政策考虑应侧重于扩大对LLM技术的访问,以确保所有消费者获得公平的利益.