医疗多文档总结的自动化指标与人类评估不同意

科学领域:

• 自然语言处理自然语言处理.
• 生物医学信息学 生物医学信息学
• 信息检索 信息检索

背景情况:

• 评估多文档摘要 (MDS) 的质量,特别是生物医学文献评论,是复杂的,因为需要综合相互矛盾的证据.
• 像ROUGE这样的现有自动化指标可能不会准确地反映总结质量,并且可以通过意外的快捷方式被模型利用.
• 缺乏资源来评估MDS建议的自动化评估指标的有效性.

研究的目的:

• 引入一个新的数据集的人类评估总结质量方面和对对偏好文献审查MDS.
• 为了促进生物医学文献综述总结改进的自动化评估方法的开发和基准测试.
• 分析现有的自动化指标,拟议的指标和总结质量的人类判断之间的相关性.

主要方法:

• 编制了一组多样化的数据集,这些数据来自多文档文献综述 (MSLR) 的共享任务.
• 收集了人类对总结质量的评估,包括具体的方面和对对偏好.
• 分析了自动化指标 (标准和新) 与人类评估的质量方面之间的相关性.

主要成果:

• 自动化指标经常无法捕捉人类注释者感知到的摘要质量方面.
• 在许多情况下,自动化指标产生与人类判断相反相关的系统排名.
• 提出了新的指标,并分析了它们与人类评估的相关性.

结论:

• 目前的自动化评估指标不足以评估生物医学文献综述摘要的质量.
• 开发的数据集为推进MDS评估研究提供了至关重要的资源.
• 进一步开发与人类质量感知相一致的自动化指标对于生物医学领域可靠的MDS至关重要.