在生物医学出版物中评估引用完整性:语料库注释和NLP模型

科学领域:

• 生物医学信息学 生物医学信息学
• 计算语言学 计算语言学
• 学术传播学术交流

背景情况:

• 引用准确性对于科学完整性和评估至关重要.
• 引用中的引文错误可能会扭曲科学证据,人类很难检测到.
• 需要自动化方法来识别生物医学出版物中的引用不准确性.

研究的目的:

• 构建一个生物医学引用的语料库,手动注释的准确性.
• 开发和评估自然语言处理 (NLP) 模型,以识别引用错误.
• 评估不同NLP方法的性能,包括生成的大型语言模型.

主要方法:

• 手动注释3063个引用实例从100个高度引用的生物医学出版物.
• 开发一个NLP管道,结合句子检索 (BM25与MonoT5重排) 和索赔验证 (MultiVerS模型).
• 探索使用GPT-4进行引用准确度分类的少数拍摄的环境学习.

主要成果:

• 大约39.18%的注释引用包含准确性错误.
• 表现最好的NLP模型获得了0.59微F1和0.52宏F1分.
• 与微调模型相比,GPT-4在正确的引用中显示出更高的准确性,但在错误的引用中显示出更低的准确性.

结论:

• 引用引文错误是微妙的,对于当前的NLP模型来说很难发现.
• 开发的NLP模型显示了提高科学文献引用质量和准确性的潜力.
• 创建的语料库和NLP模型是公开的,以促进进一步的研究.