相关实验视频
Updated: Jun 25, 2026
10:46
Doppler Optical Coherence Tomography of Retinal Circulation
Published on: September 18, 2012
18.7K
FFA-GPT:一个自动化管道用于 fundus fluorescein血管学解释和问题答案
Xiaolan Chen1, Weiyi Zhang1, Pusheng Xu2
1School of Optometry, The Hong Kong Polytechnic University, Kowloon, Hong Kong, China.
NPJ digital medicine
|May 3, 2024
概括
这项研究引入了一个使用大型语言模型 (LLM) 进行自动解读 fundus fluorescein angiography (FFA) 图像的AI管道,使报告生成和交互式问答能够提高诊断效率.
科学领域:
- 眼科医生 眼科 眼科
- 人工智能的人工智能
- 医疗成像医学成像
背景情况:
- 底部光素血管造影 (FFA) 对于诊断胆管关节疾病至关重要,但需要专家的解释.
- 现有的FFA人工智能系统缺乏用户交互和全面的眼科医生评估.
研究的目的:
- 使用大型语言模型 (LLM) 开发FFA图像的自动解释管道.
- 为了实现自动报告生成和交互式医疗问答 (QA) 来进行FFA分析.
主要方法:
- 开发了一个结合图像-文本对齐 (启动语言-图像预训) 和LLM (Llama 2) 的管道.
- 在654,343张FFA图像和9392份报告中训练了模型.
- 通过自动指标和三位眼科医生的手动审查来评估性能.
主要成果:
- 自动评估显示连贯的报告生成 (BERTScore 0.70) 和良好的检测视网膜条件 (F1 0.64-0.82).
- 手动审查表明报告的准确性 (68.3%) 和完整性 (62.3%) 是可以接受的.
- 通过LLM生成的答案在很大程度上没有错误 (70.7%),完整 (84.0%),对眼科医生来说令人满意 (65.3%).
结论:
- 结合多模式变压器和LLM的创新框架增强了眼科图像的解释.
- 开发的管道提高了效率,并促进了医疗咨询中的互动沟通.
- 这种方法为增强FFA图像的专家分析提供了一个有前途的工具.
