使用ChatGPT进行人机交互研究:一本入门书

科学领域:

• 人与计算机的交互
• 自然语言处理自然语言处理.
• 人工智能的人工智能

背景情况:

• 在人机交互 (HCI) 中,文本分析对于理解用户体验至关重要.
• 传统的方法可能是耗时和资源密集的.
• 像ChatGPT这样的先进语言模型的出现需要探索它们在HCI研究中的实用性.

研究的目的:

• 调查ChatGPT作为人类与计算机交互中的文本分析工具的有效性.
• 评估ChatGPT在分析各种文本数据类型,包括问卷,访谈和大声思考协议方面的表现.
• 为了比较ChatGPT的分析输出与既有的人类和计算分析方法.

主要方法:

• 应用ChatGPT来分析来自增强现实 (AR) 接口研究的文本框问卷答复.
• 使用ChatGPT对从AR接口模拟中转录的采访数据进行元总结.
• 采用ChatGPT来总结转录的大声思考数据,比较真实和复制的艺术品.
• 采用了对文本批处理和聚合的层次方法.
• 通过使用标准和面部有效性措施评估ChatGPT的输出,与人类评级,基于规则的分析和独立内容分析进行比较.

主要成果:

• 聊天GPT为AR接口生成了情绪评分,与人类评分和基于规则的情绪分析有非常强的相关性 (r > 0.99).
• 采访数据的元总结为界面质量提供了有意义的见解,显示了与独立内容分析的大量重叠.
• 大声思考数据的总结有效地突出了真实和复制对象之间的微妙差异,与关键词分析保持一致.

结论:

• 在人机交互研究中,ChatGPT可以成为一个有效和高效的文本分析工具.
• 这项研究证明了ChatGPT在情绪评分,元总结和在定性数据中识别细微差别方面的能力.
• 通过仔细实施和验证,ChatGPT提供了一种有希望的方法来增强传统的HCI文本分析技术.