改进图像标题评分 - 数据集,游戏和模型

科学领域:

• 计算机视觉 计算机视觉
• 自然语言处理自然语言处理.
• 人与计算机的交互

背景情况:

• 评估图像-标题对齐是主观的,缺乏标准化的指标.
• 现有的图像标题评级数据集可能无法完全捕捉微妙的人类判断.

研究的目的:

• 调查图片标题质量的主观性质.
• 使用人类反开发高质量的数据集,用于图像标题评级.
• 训练机器学习模型来预测标题质量.

主要方法:

• 通过游戏化收集了人类对图像-标题对的反.
• 通过测量评审者间协议来验证数据集质量.
• 在生成的数据集上训练机器学习模型以预测评级.

主要成果:

• 与以前的基准相比,实现了更高的互评价协议.
• 开发了由机器学习模型更容易学习的数据集.
• 在新数据集上训练的模型的表现优越.

结论:

• 游戏化的人类反对于创建高质量的图像标题评级数据集是有效的.
• 开发的数据集提高了机器学习模型在预测标题质量的性能.
• 这种方法提供了一种比现有的指标更可靠的方法来评估图像和标题的合适性.