通过大规模的多模式数据集增强描述性图像质量评估

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 自然语言处理自然语言处理.

背景情况:

• 视觉语言模型 (VLMs) 正在推进语言描述的图像质量评估 (IQA).
• 目前基于VLM的IQA方法受到狭窄的任务重点,小数据集和低于最佳性能的限制.

研究的目的:

• 开发一个更实用,更全面的基于VLM的IQA模型.
• 解决现有的IQA数据集和任务多样性的局限性.

主要方法:

• 引入了增强图像质量评估 (EDQA) 模型,具有多功能范式 (评估,比较,简要/详细答复,完整/无引用).
• 开发了一种基于地面真相的数据集构建方法,创建了大规模的EDQA-495K数据集 (495K图像).
• 在培训期间保留了图像分辨率,并为响应过纳入了信任分数.

主要成果:

• 在扭曲识别,即时评级和推理方面,EDQA显著优于传统和基于VLM的IQA方法.
• 在现实应用中表现出卓越的性能,例如评估网络下载和模型处理的图像.
• EDQA-495K数据集为IQA研究提供了一个全面的,大规模的,高质量的资源.

结论:

• EDQA代表了基于VLM的IQA的重大进步,提供了增强的多功能性和性能.
• 开发的数据集和模型解决了该领域的关键局限性,为实际的IQA解决方案铺平了道路.
• 开源代码,数据集和模型权重促进了进一步的研究和开发.