ProtoBERT-LoRA:用于免疫疗法研究识别的参数高效原型微调

科学领域:

• 生物信息学是一种生物信息学.
• 计算生物学 计算生物学
• 基因组学就是基因组学.

背景情况:

• 在基因组库中识别免疫检查点抑制剂 (ICI) 研究对于癌症研究至关重要.
• 挑战包括语义模两可,阶级不平衡和有限的标记数据.

研究的目的:

• 开发一个有效的框架来识别基因组库中的ICI研究.
• 克服现有方法在低资源环境中的局限性.

主要方法:

• 一个混合框架,ProtoBERT-LoRA,将PubMedBERT与原型网络和低级适应 (LoRA) 结合起来.
• 插曲式原型培训,以强制执行可分离类别的嵌入,同时保持领域知识.
• 利用具有特定正负样本分布的数据集进行培训,原型,验证和测试.

主要成果:

• 在测试数据集中,ProtoBERT-LoRA获得了0.624的F1得分 (精度:0.481,回忆:0.887).
• 超越了基于规则的系统,机器学习基线和微调的PubMedBERT.
• 当应用到未标记的研究时,手动审查工作量减少了82%.
• 将原型与LoRA相结合,比独立的LoRA提高了29%的性能.

结论:

• 在大型基因组数据集中,ProtoBERT-LoRA为识别ICI研究提供了有效和高效的解决方案.
• 与现有方法相比,混合方法显著提高了性能.
• 这一框架有可能通过简化数据分析来加速癌症研究.