在对生物医学命名实体识别和规范化工具的跨体评估中,HunFlair2
Mario Sänger1, Samuele Garda1, Xing David Wang1
1Department of Computer Science, Humboldt-Universität zu Berlin, Berlin 10099, Germany.
Bioinformatics (Oxford, England)
|September 20, 2024
概括
生物医学文本挖掘工具在应用于新数据时表现更差. 跨体评估显示业绩大幅下降,强调需要更强大的实体识别和规范化系统.
科学领域:
- 生物医学信息学 生物医学信息学
- 计算语言学 计算语言学
背景情况:
- 生物医学文本挖掘 (BTM) 对于从不断增长的生命科学文献中提取见解至关重要.
- 实体识别和规范化是BTM的关键步骤,但当工具应用于与其训练集 ("在野外") 不同的数据时,工具通常会失败.
研究的目的:
- 评估BTM工具在不同公司的实体识别和规范化中的实际性能.
- 为了确定报告的性能指标是否可靠,下游应用使用域外数据.
主要方法:
- 进行了跨机构的基准评估,评估了五个选定的BTM系统在三个公共机构,涵盖四种实体类型.
- 系统地向公司应用在培训过程中未使用的工具,以评估概括能力.
主要成果:
- 跨体表现明显低于体内表现,表明了概括差距.
- 在评估的工具中,HunFlair2和PubTator Central表现最好,尽管准确性仍然较低.
- 结果表明,BTM工具用户应该预计与公布的基准相比,在实际应用中性能较低.
结论:
- 当前的BTM工具在应用于各种生物医学文本集合时,其强度有限.
- 进一步的研究对于开发更具适应性和可靠的BTM系统来进行现实世界生物医学文本分析至关重要.
