一种自然语言处理方法来检测死亡调查笔记中的不一致性,将自杀情况归因于自杀情况

科学领域:

• 公共卫生 公共卫生
• 数据科学数据科学数据科学
• 计算语言学 计算语言学

背景情况:

• 数据准确性对于科学研究和政策至关重要.
• 国家暴力死亡报告系统 (NVDRS) 是了解死亡模式的关键数据来源.
• 以前的研究表明,NVDRS数据中的注释不一致,可能导致错误的自杀归因.

研究的目的:

• 开发和验证一种经验性的自然语言处理 (NLP) 方法,用于检测NVDRS数据中的注释不一致.
• 识别和纠正自杀情况数据中的潜在标签错误.
• 提出一种解决方案,以提高人类注释者的编码一致性.

主要方法:

• 开发了一种经验NLP方法来检测注释不一致.
• 采用类似交叉验证的范式来识别潜在的标签错误.
• 分析包括267,804起自杀死亡事件来自NVDRS (2003-2020年).
• 标注不一致性是通过F-1分数的变化来衡量的.

主要成果:

• 将目标状态数据纳入分类员培训中,在目标状态的测试组中,F-1分数增加了5.4%.
• 这种方法导致其他州测试组的F-1分数下降了1.1%.
• NLP框架有效地发现了注释不一致性.

结论:

• 成功开发了一个NLP框架,用于检测NVDRS数据中的注释不一致.
• 该方法在识别和纠正潜在的标签错误方面表现出有效性.
• 该研究提出了一种方法来提高人类注释者之间的编码一致性.