研究大型视觉语言模型在狗情绪识别和表达能力方面的研究

科学领域:

• 动物行为和动物福利科学
• 人工智能和机器学习
• 计算机视觉和自然语言处理.

背景情况:

• 准确识别动物的情绪状态对于福利评估和人与动物的沟通至关重要.
• 大视觉语言模型 (LVLMs) 越来越多地应用于图像理解任务,包括动物情感识别.

研究的目的:

• 批判性地评估最先进的LVLM在狗中的零射击情绪分类能力.
• 评估网络来源和实验衍生的狗情绪数据集上的模型性能.

主要方法:

• 在狗情绪 (DE) 数据集 (来自网络的图像) 和拉布拉多猎犬切割面部 (LRc) 数据集 (实验诱导的情绪) 上评估了LVLM.
• 进行了背景操纵实验,以测试模型对上下文特征的依赖性.
• 多种提示和系统指令,以评估它们对性能的影响.

主要成果:

• 在DE数据集上,LVLMs取得了中度的准确性,这可能是由于表面的相关性 (例如,背景,品种形态).
• 在LRc数据集上,性能下降到近乎偶然的水平,表明无法从生物学上相关的线索进行概括.
• 模型表现出严重依赖上下文特征,即时变化对准确度的影响最小.

结论:

• 目前的LVLM在识别非人类动物情绪方面存在重大局限性,表现出潜在的以人类为中心的偏见.
• 倡导以行为科学为基础的对物种敏感的人工智能,强调高质量,基于实验的多式联络数据集.
• 呼吁严格,跨学科地开发以动物为中心的计算方法,以推断动物的内部状态.