使用基于领域的框架,在ART咨询中对叙事文档质量的AI辅助评估

科学领域:

• 生殖医学 生殖医学
• 临床文档质量 临床文档质量
• 医疗保健中的人工智能

背景情况:

• 高质量的临床文档在辅助生殖技术 (ART) 中至关重要.
• 评估叙事文档质量传统上依赖于手动审查,这可能是主观和耗时的.
• 开发客观和可重复的方法来评估文档对于质量改进至关重要.

研究的目的:

• 在ART咨询中评估叙述性临床文档的质量.
• 实施和验证一个透明的,可重复的,人工智能辅助的评分框架,用于文档评估.
• 在文档中确定需要改进的特定领域.

主要方法:

• 一项横截面的观察性研究,涉及9名临床医生的90个初始ART咨询记录.
• 一个预定义的,基于领域的评分框架,评估监管调整,行动计划的明确性和披露准备.
• 一个受规则约束的AI工具应用了固定的评分标准,使用混合效应模型规范和分析域名得分.
• 由专家临床医生通过盲目审查评估的人类-AI一致性;通过 rescoring 确认可重复性.

主要成果:

• 在各领域的平均规范化文档分数中观察到显著差异 (监管调整:0.830,行动计划的清晰度:0.677,披露准备:0.753).
• 行动计划的清晰度在所有文件中始终获得最低分.
• 在AI和专家临床医生评分之间发现了实质性的一致性 (加权卡帕=0.65),表明高度一致.

结论:

• 一个受约束的,基于领域的AI评分框架提供了在生殖医学中叙事文档质量的透明和可重现的量化.
• 这种人工智能辅助的方法可以促进形成性反,并为有针对性的文档改进产生假设.
• 未来的研究应该评估人工智能框架对下游临床结果的影响.