使用罗神经网络进行临床自然语言处理的少数镜头学习:算法开发和验证研究

科学领域:

• 计算语言学计算语言学
• 医疗保健中的人工智能
• 机器学习用于临床应用.

背景情况:

• 自然语言处理 (NLP) 对于利用电子健康记录数据至关重要.
• 深度学习模型在临床NLP中表现出色,但需要大量的注释数据集,这些数据很少.
• 短暂学习 (FSL) 解决了数据稀缺问题,罗神经网络 (SNN) 显示出潜力,但在临床NLP中未得到充分探索.

研究的目的:

• 提出和评估基于罗神经网络 (SNN) 的方法,用于一些临床NLP任务.
• 在有限的注释临床数据的情况下,研究SNNs在场景中的有效性.

主要方法:

• 开发了两个基于SNN的FSL方法:预训练SNN和SNN与二级嵌入.
• 在临床句子分类的评估方法使用4-shot,8-shot和16-shot设置.
• 与变压器 (BERT),BioBERT,BioClinicalBERT和生成预训练变压器2 (GPT-2) 的双向编码器表示进行了基准测试.

主要成果:

• 在四次射击任务中,GPT-2显示出更高的精度,但SNN (基于BioBERT的预训练) 获得了更好的回忆和F分数.
• 基于SNN的方法在精度,回忆和F分数方面始终超过了GPT-2在8枪和16枪设置方面.
• 在低数据的临床NLP中,SNN在基于提示的GPT-2上表现优越.

结论:

• 拟议的SNN方法对于少数的临床NLP任务是有效的.
• 在有限的注释临床数据的情况下,SNN为改善深度学习模型性能提供了可行的解决方案.