问:GPT-3.5可以生成和编码排放总结吗?

科学领域:

• 医疗保健中的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 准确的医疗编码对于医疗数据分析和报销至关重要.
• 医疗数据集中的低资源标签阻碍了有效编码模型的培训.
• 大型语言模型 (LLM) 显示了自动化医疗文件处理的潜力.

研究的目的:

• 调查GPT-3.5对于生成和编码医疗文件的实用性,使用国际疾病分类 (ICD) -10代码.
• 评估GPT-3.5驱动的数据增强对改进神经编码模型的有效性,特别是对于低资源标签.
• 评估GPT-3.5生成的医疗文件的临床可接受性和编码准确性.

主要方法:

• 根据MIMIC-IV数据集的ICD-10代码描述,使用GPT-3.5生成了9606份出院摘要.
• 通过将生成的数据与基线训练集相结合,创建了一个增强训练集.
• 在基线和增强数据上训练和评估神经编码模型,报告微型和宏观F1分数.
• 利用弱层次混矩阵来分析编码错误.
• 在自生成和真实MIMIC-IV数据上评估了GPT-3.5的编码性能.
• 对生成的文件进行临床评估.

主要成果:

• 数据增强导致整体模型性能略有下降,但对罕见 (代) ICD-10 代码及其家族的性能提高.
• 增强模型表明,家族外编码错误减少了.
• 根据提示的描述,GPT-3.5准确地识别了ICD-10代码,但在真实世界的医疗数据上表现不佳.
• 临床评估人员发现产生的概念是正确的,但在叙事多样性和支持信息方面存在缺陷.

结论:

• 在测试的提示设置中,GPT-3.5不适合独立的ICD-10编码,但可以支持用于训练神经模型的数据增强.
• 数据增强对生成代码家族产生了积极的影响,特别是那些具有现有示例的代码家族,并减少了家族之外的错误.
• 生成的文档正确地反映了提示的概念,但缺乏叙事真实性和多样性,需要进一步精细化用于临床使用.