创建,匿名化和评估第一个在荷兰电子健康记录上预先训练的医学语言模型:MedRoBERTa.nl

科学领域:

• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.
• 计算语言学 计算语言学

背景情况:

• 电子健康记录 (EHR) 包含丰富的临床笔记,对患者护理和研究至关重要.
• 一般的大型语言模型 (LLM) 与临床笔记的独特语言作斗争,限制了它们在医疗保健中的应用.
• 开发特定领域的LLM对于准确分析医学文本数据至关重要.

研究的目的:

• 推出MedRoBERTa.nl,这是第一个针对荷兰电子健康系统量身定制的域名特定的LLM.
• 详细介绍一个公开可用的医学LLM的开发,预培训策略和匿名化过程.
• 为了证明MedRoBERTa.nl在推进医学文本挖掘和研究方面的实用性.

主要方法:

• 开发MedRoBERTa.nl,一个新的LLM专门为荷兰临床文本.
• 预训练模型在大量匿名的EHR笔记上,使用各种策略.
• 对现有的通用LLM进行了广泛的评估和比较.

主要成果:

• 与通用LLMs相比,MedRoBERTa.nl在理解和处理荷兰临床笔记方面表现优越.
• 经过严格的匿名化后,该模型已公开提供,促进了更广泛的研究.
• 已经说明了 MedRoBERTa.nl 在下游医疗文本挖掘任务中的成功应用.

结论:

• 像MedRoBERTa.nl这样的特定领域的LLM对于释放EHR数据的全部潜力至关重要.
• 开发的模型为临床文本分析的研究人员和开发人员提供了一个强大的工具.
• MedRoBERTa.nl在将NLP应用于荷兰医疗保健数据方面取得了重大进展.