对深度主动学习方法的研究,以减少生物医学关系提取中的标签努力
Charlotte Nachtegael1,2, Jacopo De Stefani2,3, Tom Lenaerts1,2,4
1Interuniversity Institute of Bioinformatics in Brussels, Université Libre de Bruxelles-Vrije Universiteit Brussel, Bruxelles, Belgium.
PloS one
|December 15, 2023
概括
积极学习 (AL) 显著减少了对生物医学关系提取 (bioRE) 数据集的注释需求. 基于不确定性的AL策略,如最不确定和边际采样,可以提高F1得分,准确性和精确性,用于生物RE任务.
科学领域:
- 生物医学信息学 生物医学信息学
- 自然语言处理自然语言处理.
- 机器学习 机器学习
背景情况:
- 高质量的标记数据对于开发生物医学研究中的预测方法至关重要.
- 为生物医学关系提取 (bioRE) 构建大型注释数据集受到时间和专业知识的限制 (注释瓶).
研究的目的:
- 调查主动学习 (AL) 策略在克服bioRE任务注释限制方面的有效性.
- 为了对不同的AL策略进行比较,并评估它们对模型性能和注释效率的影响.
主要方法:
- 在使用PubMedBERT作为基准模型的7个生物RE数据集上对6个AL策略进行比较.
- 基于学习曲线下的区域 (AULC) 和中间结果 (F1分数,准确性,精度,回忆) 的评估策略.
主要成果:
- 基于不确定性的AL策略 (最不自信,边际采样) 在F1得分,准确性和精度方面表现出卓越的表现.
- 核心集策略在召回方面表现出色,优于其他方法.
- AL策略将注释需求降低了6%至38%,以达到与完整数据集培训相当的性能.
结论:
- 积极学习对于高质量的生物RE数据集的高效构建至关重要.
- 实际上,AL方法显著降低了对最佳深度学习模型性能所需的标签工作.
- 不确定性和多样性采样策略为生物RE的不同绩效指标提供了明显的优势.


