一个多专家的深度学习框架与LLM引导的仲裁为多式联络病理学预测多式联络病理学预测

科学领域:

• 数字病理学数字病理学
• 医学中的人工智能
• 计算病理学计算病理学

背景情况:

• 深度学习提高了计算病理学的准确性,但传统方法缺乏适应性和解释性.
• 当前的人工智能 (AI) 专家模型提供了互补的观点,但简单的输出聚合与分歧和透明度作斗争.
• 人工智能在病理学中的临床整合受到模型适应性和决策解释性方面的挑战的阻碍.

研究的目的:

• 开发一个新的多专家框架,使用大语言模型 (LLM) 作为一个仲裁者,以改善计算病理学的诊断决策.
• 通过整合各种数据源,提高AI模型在临床病理学环境中的适应性和解释性.
• 通过利用LLM的推理能力来解决模式间的分歧,并提供透明,理性的决策.

主要方法:

• 提出了一个多专家框架,集成基于视觉的AI预测器和临床特征模型,LLM担任仲裁员.
• 验证了胃 (HMU-GC-HE-30K) 和乳腺癌 (BCNB) 组织病理学数据集的框架,包括多式联络数据.
• 测试了各种LLM (LLaMA,GPT变体,Mistral),并结合了学习的每个代理人的信任,以改善仲裁.

主要成果:

• 多专家,LLM仲裁框架 (MELLMA) 在分类任务中表现优于标准卷积神经网络 (CNN) 和变压器.
• 与单个代理CNN/ViT基线和传统组合方法 (多数票,平均,元学习者) 相比,拟的框架显示出更高的性能.
• 学习的每个代理人的信任显著改善了仲裁员的决策,而不改变提示或数据,提高了稳定性和可解释性.

结论:

• 在计算病理学中,LLM引导的仲裁提供了比单个模型或常规组合更强大和更易于解释的性能.
• 开发的框架显示了在数字病理学中创建透明和可扩展的人工智能系统的重大前景.
• 整合LLM作为仲裁员代表了AI驱动病理学临床决策支持的关键进步.