SegORG:报告口腔潜在恶性疾病的生成图像基于损伤细分增强的LLM
Rui Zhang1,2,3, Peng Huang1, Tingting Ding1
1Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine, Zhejiang Provincial Clinical Research Center for Oral Diseases, Zhejiang Key Laboratory of Oral Biomedical, Hangzhou, China.
Oral diseases
|November 28, 2025
概括
一个自动化系统,SegORG,从图像中生成口腔潜在恶性疾病 (OPMD) 的标准化报告. 这种人工智能模型提高了文档效率,并有助于对口腔病变的早期干预.
科学领域:
- 口服药是一种口服药.
- 人工智能的人工智能是人工智能.
- 医学成像分析分析 医学成像分析
背景情况:
- 口腔潜在恶性疾病 (OPMDs) 需要准确和及时的记录.
- 手动生成报告是耗时的,可能导致不一致.
- 自动化系统可以简化OPMD报告,帮助早期诊断和治疗.
研究的目的:
- 开发一个自动化系统 (SegORG) 来从白光图像生成标准化的OPMD报告.
- 减少文档工作量,促进早期干预和病变监测.
主要方法:
- SegORG模型使用SegFormer进行病变细分,并使用视觉编码器进行特征提取.
- 视觉嵌入被映射到一个预先训练的大型语言模型 (LLM) 空间使用视觉映射器.
- Qwen2.5-7B模型生成结构化报告,通过文本增强来增强.
主要成果:
- SegORG取得了强的绩效指标 (BLEU-4:0.291,ROUGE-L:0.517,CIDEr:0.578) 这是一个非常好的结果.
- 该模型的临床诊断F1得分为0.695和专家评级中位数为4/5.5.
- SegORG的表现优于传统模型和通用多式联运LLMs.
结论:
- 通过增强的视觉特征提取和文本对齐,SegORG为OPMD报告生成提供了有效的自动化途径.
- 需要进一步的多中心试验来验证SegORG模型的可通用性.
