通过微调的多模式大语言模型来检测青光眼和结构化OCT报告生成
Jalil Jalili1,2, Yashraj Gavhane1,3, Evan Walker1,2
1Division of Ophthalmology Informatics and Data Science, Viterbi Family Department of Ophthalmology, Shiley Eye Institute, University of California San Diego, La Jolla, CA, USA.
ArXiv
|November 19, 2025
概括
一个新的多式大型语言模型 (MM-LLM) 准确地选光神经头部 (ONH) OCT扫描质量和青光眼,提供详细的视网膜神经纤维层 (RNFL) 稀释评估,以帮助临床决策.
科学领域:
- 眼科和人工智能的人工智能
- 医学成像分析 医学成像分析
- 临床决策支持系统 临床决策支持系统
背景情况:
- 视神经头部 (ONH) 光学连贯性断层扫描 (OCT) 扫描对于诊断青光眼瘤至关重要.
- 对OCT扫描的自动化分析可以提高青光眼的检测和监测的效率和准确性.
- 开发可解释的AI模型对于医学诊断中的临床采用至关重要.
研究的目的:
- 开发一种可解释的多式联通大型语言模型 (MM-LLM),用于分析ONH OCT扫描.
- 为了使MM-LLM能够选OCT扫描质量并检测青光眼.
- 创建结构化的临床报告,详细说明青光眼的诊断和各个部门的视网膜神经纤维层 (RNFL) 稀薄.
主要方法:
- 一项回顾性队列研究利用了来自"青光眼诊断创新研究" (DIGS) 和"非洲血统和青光眼评估研究" (ADAGES) 的纵向数据.
- 一个基于Llama 3.2视觉指导的MM-LLM在43,849个Spectralis ONH OCT扫描上进行了微调.
- 该模型使用标准指标对七个部门的质量评估,青光眼检测和RNFL稀释分类进行了评估.
主要成果:
- 该MM-LLM实现了0.90准确度的质量选和0.86准确度的青光眼的检测.
- 预测RNFL稀释的准确性在0.83到0.94之间,在全球和时间部门的表现优越.
- 文本生成质量评分与参考临床报告有很强的一致性 (例如,ROUGE-1:0.94 ± 0.08).
结论:
- 微调的MM-LLM精确分析ONH OCT成像,识别质量问题和检测青光眼.
- 该模型提供了有价值的部门RNFL稀释评估,支持OCT临床评估.
- 这种人工智能方法显示出作为可扩展的临床决策支持工具的承诺,需要进一步验证.
