使用视觉语言模型进行快速指导和多式联运的景观景观性评估

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习
• 环境科学 环境科学

背景情况:

• 深度学习和视觉语言模型 (VLMs) 促进了下游任务的高效转移学习,使用有限的标记数据.
• 虚拟图像管理器允许直接比较文本描述和图像内容,为图像分析和注释开辟了新的途径.
• 评估景观景观性或美学质量对于环境规划至关重要,并且传统上需要广泛的人类注释.

研究的目的:

• 评估VLMs在使用零和少数拍摄学习方法预测景观风景的潜力.
• 为了比较基于VLM的方法与景观美学评估中的传统完全监督方法的性能.
• 引入和验证一种新的注释方法,即Landscape Prompt Ensembling (LPE),用于获取景观风景评级.

主要方法:

• 通过对预先训练的VLM表示进行微调,通过对预先训练的VLM表示进行微调单一线性层来实现Few-Shot学习.
• 使用对比提示与积极和消极的景观美学概念来探索零射击预测.
• 景观提示组合 (LPE) 是作为一种使用评级文本描述的注释技术而开发的,不需要图像数据集.

主要成果:

• 在几百个样本上微调的模型表现出与在数十万个样本上训练的完全监督模型相比或超过的性能.
• 在优化使用少量样本进行提示配置时,零射击对比提示优于少数射击线性探测.
• LPE成功生成了景观景观性评估,这些评估显示与已建立的基于图像的评级数据集一致.

结论:

• 景观管理系统,特别是通过零和少数拍摄的学习,为景观景观性评估提供了一种高效和灵活的方法.
• 开发的LPE方法为景观美学数据采集提供了可扩展和有效的替代方案,减少了对广泛图像数据集的依赖.
• 这些发现突显了VLM在景观分析中的变革潜力,使景观评估更容易获得和更容易适应.