EchoGraph系统用于对心声回声学报告的自动质量评估

科学领域:

• 人工智能在医学中的应用
• 临床自然语言处理 临床自然语言处理
• 心血管成像 信息学 信息学

背景情况:

• 生成型人工智能需要自动化临床文本准确度指标,而这些指标目前缺乏用于心声回声学.
• 评估人工智能产生的心声回声报告的准确性对于临床采用至关重要.

研究的目的:

• 开发和验证一种自动化指标,用于评估用于心声回声学生成的临床文本的准确性.
• 引入EchoGraph,这是一个基于BERT的模型,为此目的而设计.

主要方法:

• 开发了EchoGraph,使用基于BERT的模型训练了梅奥诊所600份注释回声心脏图报告.
• 使用了一个详细的图表,其中有48,256个实体和29,731个关系用于注释.
• 使用60份注释的MIMIC-EchoNote报告进行了外部验证.

主要成果:

• 在预测实体 (微 F1 0.85) 和关系 (微 F1 0.70) 方面,EchoGraph取得了强的表现.
• 在外部验证数据上保持稳健的性能 (实体微型F1 0.80,关系微型F1 0.52).
• 与RadGraph F1相比,表现出更高的错误灵敏度,斜率大小更高,差异更好地解释.

结论:

• EchoGraph提供了一种有效的解决方案,用于评估基于语言模型的心声回声应用程序.
• 开发的指标支持生成更准确的AI辅助心声图报告.
• 这项工作解决了对人工智能驱动的临床文本生成用于心声回声学的自动化准确性评估的关键需求.