微VQA:基于显微镜的科学研究的多式推理基准

科学领域:

• 生物医学研究的研究.
• 科学中的人工智能.

背景情况:

• 科学研究需要对多式联络数据进行复杂的推理,特别是在生物学中.
• 现有的多模式推理人工智能基准仅限于大学水平的难度或关注基本感知,而不是研究水平的复杂性.
• 需要基准来评估科学发现的先进多式联络推理.

研究的目的:

• 引入MicroVQA,一个新的视觉问题答案 (VQA) 基准.
• 评估三个关键的研究推理能力:专家图像理解,假设生成和实验建议.
• 解决人工智能模型在研究层面的多式联络推理评估方面的差距.

主要方法:

• 由生物学专家使用各种显微镜数据策划了1042个多选题 (MCQ).
• 开发了一个两阶段的MCQ生成管道,包括一个LLM提示符和一个"RefineBot"来消除语言快捷方式.
• 在MicroVQA数据集上对标的最先进的多式联运大型语言模型 (MLLMs).

主要成果:

• 最先进的MLLM在MicroVQA.上实现了53%的峰值性能.
• 具有较小LLM的模型只显示了轻微的性能退化,这表明语言推理比多式联络推理更轻松.
• 用科学文章微调改进了模型的性能.
• 分析显示,感知错误是最常见的,其次是知识和过度概括错误.

结论:

• MicroVQA是通过评估关键的多式联络推理技能来推进人工智能驱动的生物医学研究的宝贵资源.
• 当前的MLLM与复杂的科学多式联络推理作斗争,突出了未来发展的领域.
• 该基准提供了对人工智能模型在科学环境中犯下的错误类型的见解.