IQAGPT:用视觉语言和ChatGPT模型进行计算机断层扫描图像质量评估
Zhihao Chen1, Bin Hu2, Chuang Niu3
1Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University, Shanghai, 200433, China.
Visual computing for industry, biomedicine, and art
|August 5, 2024
概括
本研究介绍了IQAGPT,这是一个使用大型视觉语言模型 (VLM) 和ChatGPT进行医学图像质量评估的新系统. IQAGPT提供客观的质量评分和报告,优于现有模型.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 大型语言模型 (LLM) 和视觉语言模型 (VLM) 显示出作为自然语言接口的希望.
- 在医学图像质量评估 (IQA) 中,LLM和VLM的应用在很大程度上尚未被探索.
- 目标 IQA对于评估诊断性能和潜在帮助放射科医生至关重要.
研究的目的:
- 为了引入IQAGPT,一个创新的计算机断层扫描 (CT) IQA系统.
- 将图像质量的标题VLM与ChatGPT集成在一起,以生成质量得分和文本报告.
- 探索使用LLM用于客观医疗图像质量评估的可行性.
主要方法:
- 创建了一个CT-IQA数据集,包括1000个具有不同质量级别的CT切片,并进行了注释.
- 用提示模板将注释质量评分转换为文本描述.
- 在数据集上对图像质量的标题VLM进行了微调,通过交叉模式的注意力将图像和文本功能融合在一起.
- 聊天GPT被用来生成基于VLM生成的描述的质量评分和报告.
主要成果:
- 拟议的IQAGPT系统证明了使用LLMs评估图像质量的可行性.
- IQAGPT的表现优于已有的模型,如GPT-4和CLIP-IQA.
- 该系统还超越了仅依赖图像数据的多任务分类和回归模型.
结论:
- 可以有效地利用LLM进行客观的医疗图像质量评估.
- IQAGPT提供了一个有前途的方法来补充或可能取代主观的放射学意见.
- VLM和LLM的整合为医学成像中的自动化分析开辟了新的途径.
