具有成本效益的教学学习用于病理学视觉和语言分析

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 数字病理学数字病理学

背景情况:

• 视觉语言模型 (VLMs) 能够实现人-人工智能交互,但由于数据,财务和计算需求,在临床环境中面临挑战.
• 目前的VLM需要大量的资源,限制了它们在病理学等专业领域的广泛应用.

研究的目的:

• 推出CLOVER,一个成本效益高的指令学习框架,用于数字病理学中的对话性AI.
• 通过提出有效的培训方法来解决现有VLM的资源限制.

主要方法:

• CLOVER在轻量级模块上使用指令调整,同时结大型语言模型的参数.
• 它利用GPT-3.5的精心设计的提示,利用互联网来源的病理知识来生成指令.
• 开发并使用了针对数字病理学的基于模板的指令.

主要成果:

• CLOVER展示了混合形式的有效性,病态的视觉问答指令.
• 该框架的表现明显优于基线模型,具有更多的培训参数 (37x).
• 在外部临床数据集上,CLOVER表现出了几次射击学习能力.

结论:

• CLOVER 提出了一个可行且资源高效的解决方案,用于在数字病理学中开发对话式人工智能.
• 该框架有可能加速快速对话应用程序在临床工作流程中的集成.
• 这种方法强调了利用易于获得的知识来源和针对专门的AI应用程序的高效模型培训的实用性.