使用n-grams和K-means集群来分类来自自由文本骨髓报告的数据

科学领域:

• 医疗信息学 医疗信息学
• 计算语言学 计算语言学
• 生物信息学是一种生物信息学.

背景情况:

• 先进的自然语言处理 (NLP) 模型需要大型标记的医疗数据集.
• 经典的NLP算法为数据注释提供了一个低资源的替代方案.
• 自动化医疗报告的分类对于有效的数据利用至关重要.

研究的目的:

• 为了评估经典NLP算法的有效性在骨髓分类报告部分.
• 用n-grams和K-means集群来确定NLP模型的最佳参数.
• 评估使用经典NLP用于生成标记医疗文本数据的可行性.

主要方法:

• 从医疗保健网络的实验室信息系统中提取了1480份骨髓报告.
• 预处理的文本通过分割成块和删除标题.
• 应用了使用n-grams和K-means集群的NLP算法,探索代币替换和集合方法.

主要成果:

• 最佳模型采用了一种集体方法,用代币替换,1克 (词包) 和10K-意味着中心体.
• 这种模型在骨髓报告文本块中实现了89%的分类准确度.
• 参数变化,包括中心点数和n-gram范围,影响了分类性能.

结论:

• 经典的NLP模型,特别是组合方法,可以准确地对骨髓报告中的部分进行分类.
• 这种方法提供了一个可行的策略,用于创建大型标记的医疗文本数据集,减少资源密度.
• 这些发现表明在医疗报告分析和信息提取方面有更广泛的应用潜力.