一起更聪明:结合大语言模型和生理信号的小模型 视觉检查

科学领域:

• 人工智能在医学中的应用
• 机器学习用于医疗保健
• 临床决策支持系统 临床决策支持系统

背景情况:

• 大型语言模型 (LLM) 在医学时间序列解释方面表现有前途,但缺乏领域特异性和微调能力.
• 小型专用模型 (SSM) 擅长于集中任务,但缺乏对复杂的医疗决策的广泛推理.
• 现有的人工智能方法在平衡可通用性与特定领域的精度和可信度方面面临挑战.

研究的目的:

• 引入合规多实例学习 (ConMIL),这是一个新的框架,将LLM和SSM协同用于增强的医疗时间序列分析.
• 开发一个多实例学习 (MIL) 机制,QTrans-Pooling,用于识别具有临床相关性的生理信号段,并具有每个类的可解释性.
• 将符合性预测与MIL集成为可靠的设定值输出,并为LLM增强结构化这些输出.

主要方法:

• 开发了QTrans-Pooling,这是一个新的MIL机制,用于可解释的关键生理信号段的识别.
• 集成的符合预测与MIL提供统计可靠的,设定值的输出,量化不确定性.
• 结构化可解释和不确定性量化的SSM输出,以增强LLM视觉检查能力.

主要成果:

• 在心律失常检测和睡眠阶段分类方面,ConMIL显著提高了LLM (ChatGPT4.0,Qwen2-VL-7B,MiMo-VL-7B-RL) 的准确性.
• 在ConMIL的支持下,Qwen2-VL-7B和MiMo-VL-7B-RL在可靠样本上实现了高精度 (94.92%,96.82%).
• 与单独使用的LLM相比,不确定样本的性能大大提高,证明了ConMIL在处理模糊性方面的有效性.

结论:

• 将可解释和不确定性量化的SSM与LLM集成为可信的人工智能驱动的临床决策支持提供了一个有希望的途径.
• 康米尔展示了一种新的方法,利用LLM和SSM的优势来解释复杂的医疗数据.
• 该框架提高了AI的解释性和可靠性,这对于在临床环境中采用AI至关重要.