合成4健康:生成注释的合成临床信件

科学领域:

• 在医疗保健中的自然语言处理.
• 医疗信息学 医疗信息学
• 合成数据生成 合成数据生成

背景情况:

• 临床信件包含敏感的患者信息,限制其在模型培训,医学研究和教育等关键领域的使用.
• 现有的方法往往侧重于重建原始字母,限制创建多样化,非识别数据集.
• 需要可靠,多样化和非识别的合成临床信件来克服数据隐私障碍.

研究的目的:

• 开发和评估产生可靠,多样化和非识别合成临床信件的方法.
• 建立一个基础框架,用于创建适合下游任务的合成临床数据.
• 为此目的,评估不同预先训练的语言模型和掩盖策略的有效性.

主要方法:

• 研究了多个预训练语言模型,重点是Bio_ClinicalBERT,用于文本掩盖和生成.
• 应用了各种掩盖策略,包括掩盖停止词,名词和动词,以评估它们对合成字母质量的影响.
• 使用定性和定量指标 (BERTScore) 评估合成字母,下游命名实体识别 (NER) 任务,以及使用BioGPT和GPT-3.5-turbo进行临床评估.

主要成果:

• 仅编码器模型的性能优于编码器-解码器模型;当保留临床实体时,总体模型的性能与临床模型相提并论.
• 保持临床实体和文档结构对于任务目标至关重要. 掩盖停止词对质量产生了积极的影响,而掩盖名词/动词则产生了负面影响.
• 合成字母有效地替代了下游NER任务的真实字母,BERTScore被确定为主要的定量指标. 幻觉内容对临床表现的影响最小.

结论:

• 已经建立了一个创建多样化,非识别合成临床信件的基础框架,解决了以往重建为中心的方法的局限性.
• 该研究为利用模型处理现实世界的临床信件提供了可行的方向,从而扩大了临床领域数据集.
• 生成的合成数据支持模型培训,医学研究和教育,同时保持数据隐私.