解析中的精度:对兽医瘤学中的开源命名实体识别器 (NER) 的评估

科学领域:

• 兽医医学 兽医医学 兽医医学
• 人工智能的人工智能
• 生物信息学是一种生物信息学.

背景情况:

• 人工智能 (AI) 和自然语言处理 (NLP) 提供了增强兽医瘤学临床记录分析的潜力.
• 命名实体识别 (NER) 对于高效的数据提取和研究和临床决策中的自动标签至关重要.

研究的目的:

• 评估最初针对人类数据开发的生物流行病学-NER (BioEN) 工具在兽医瘤学记录上的有效性.
• 将BioEN的性能与兽医专家的手册注释进行比较.

主要方法:

• 应用了BioEN开源NER工具用于兽医瘤记录.
• 使用雅卡德相似度,评分器内可靠性,ROUGE得分和标准NER指标 (精度,回忆,F1得分) 评估了性能.
• 比较了BioEN的输出和兽医瘤学家和兽医实习生的手册注释.

主要成果:

• 生物EN工具的直接翻译能力较差,无法直接翻译为兽医瘤学记录文本.
• 与实习生相比,NER的表现显示出可以改进的空间,精度,回忆和F1分数表明与瘤学家的注释相一致时,与实习生相比,具有边际优势.
• 评估指标揭示了人类数据训练的NER模型对兽医记录的直接应用的局限性.

结论:

• 目前的AI工具,如BioEN,需要大幅改进才能在兽医瘤学中有效使用.
• 这些发现强调了开发专门用于兽医的AI模型和根据兽医临床数据细微差别量身定制的NLP工具的必要性.
• 需要进一步的研究来优化人工智能应用,以推进兽医医疗分析和决策.