用自然语言处理对自传采访进行自动评分

科学领域:

• 心理学 心理学 心理学
• 认知科学 认知科学
• 计算语言学 计算语言学

背景情况:

• 自传采访是评估自传记忆内容的关键方法.
• 手动对这些记忆进行评分是耗时的,并且限制了研究规模.
• 需要自动评分,以减少负担并促进更大的研究工作.

研究的目的:

• 开发和验证一种自然语言处理 (NLP) 方法,用于自传叙事的自动评分.
• 在记忆中量化内部 (插件) 和外部 (非插件) 细节.
• 为了使对自传记忆进行更大,更有效的研究.

主要方法:

• 微调一个distilBERT语言模型,以在句子层面上识别内部和外部内容.
• 汇总句子级预测,以估计整个叙述的内容.
• 评估自动化模型与五个不同的数据集的手动得分.

主要成果:

• NLP模型在多个数据集中表现出强的性能.
• 在四个数据集中,在内部和外部细节的手动和自动分数之间观察到很高的相关性.
• 发现了最小的内容错误分类,在预处理后第五个数据集的表现良好.

结论:

• 使用精心调整的NLP模型进行自动评分是自传记忆手动评分的可行和高效替代方案.
• 这种方法显著减少了评分时间和负担,为更大规模的调查铺平了道路.
• 附带的 Colab 笔记本使得研究人员可以使用这个自动评分工具,而不需要额外的编码专业知识.