ICGA-GPT:为印氨酸绿色血管学图像生成报告和回答问题

科学领域:

• 眼科医生 眼科 眼科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 印ocyanine绿色血管造影 (ICGA) 对于诊断关节疾病至关重要.
• 解释ICGA图像和传达发现需要大量的专业知识和时间.
• 自动化ICGA报告生成和分析可以提高效率和可访问性.

研究的目的:

• 开发一个双语系统,用于生成ICGA报告和回答问题.
• 为了实现这一任务,利用多式联网变压器架构和大型语言模型 (LLM).
• 用定量指标和专家评估来评估系统的性能.

主要方法:

• 使用了来自2919名参与者的213,129张ICGA图像的数据集.
• 开发了一个两阶段的系统:图像-文本对齐用于报告生成和基于LLM的问答.
• 使用BLEU,CIDEr,ROUGE-L,SPICE,准确度,灵敏度,特异性,精度,F1分数和专家评价等指标来评估性能.

主要成果:

• 创建了8757份双语ICGA报告,涵盖了39种与疾病相关的疾病.
• ICGA-GPT模型在报告生成 (例如,CIDEr 0.82) 和疾病特异性指标 (例如,特异性 0.98) 中取得了强的表现.
• 眼科医生对生成的报告和质量保证答案的评价很高,显示了大量的同意.

结论:

• ICGA-GPT模型代表了ICGA自动化报告生成和QA的开创性努力.
• 在帮助解释ICGA图像方面,LLM显示出显著的潜力.
• 这项技术可以帮助眼科医生更有效地诊断关节疾病.