一个视觉语言模型,使智能纳米材料扫描电子显微镜注释成为可能

科学领域:

• 材料科学 材料科学 材料科学
• 纳米技术纳米技术
• 计算机科学 计算机科学

背景情况:

• 在材料科学中,数据驱动的方法很强大,但由于需要大型标记数据集而受到阻碍.
• 对纳米材料的扫描电子显微镜 (SEM) 图像进行手动注释是复杂且耗时的.
• 由于标记数据的稀缺性,SEM图像的自动模式识别至关重要.

研究的目的:

• 为纳米材料的SEM图像开发一种不依赖标记数据的自动模式识别技术.
• 将现有的视觉语言模型 (VLMs) 适应纳米材料科学的特定领域.
• 在人工智能驱动的材料研究中减少对大型标记数据集的依赖.

主要方法:

• 通过调整一般视觉语言模型,开发了扫描电子显微镜视觉语言模型 (SEM-VLM).
• 从科学文献中提取的SEM图像-文本对上使用对比学习来训练SEM-VLM.
• 采用集体视觉语言对齐用于零射击分类和激活映射以实现可解释性.

主要成果:

• 在跨模式检索中,SEM-VLM的表现优于CLIP和随机基线等一般域模型 (Recall@10,Recall@50).
• 在零射击分类中实现了高精度,超过了CLIP.
• 与完全监督模型相比,在少数镜头设置中表现优异,仅使用2.1%的培训标签.
• 激活映射提供了纳米尺度特征的可解释本地化.

结论:

• SEM-VLM为纳米材料 SEM 图像的自动分析提供了强大的和可解释的解决方案.
• 该模型显著减少了对标记数据集的依赖,使得高精度分类能够在最低限度的监督下进行.
• 这种多式模式框架促进了材料科学中的AI应用,特别是复杂的纳米材料表征.