通过通信高效的异质联合学习来生成LLM驱动的医疗报告
IEEE transactions on medical imaging
|July 21, 2025
概括
联合学习 (FL) 能够使医疗报告生成 (MRG) 大语言模型 (LLM) 的隐私保护开发成为可能. 在多中心LLM培训中,FedMRG解决了数据异质性和通信成本问题.
科学领域:
- 人工智能的人工智能
- 医疗信息学 医疗信息学
- 机器学习 机器学习
背景情况:
- 大型语言模型 (LLM) 显示出医学报告生成 (MRG) 的前景.
- 开发LLM驱动的MRG模型需要广泛的多中心医学图像报告数据.
- 数据集中受到隐私法规的阻碍,限制了LLM在MRG中的采用.
研究的目的:
- 介绍FedMRG,这是一个新的框架,用于维护隐私,在MRG中多中心LLM开发.
- 在联合的LLM培训中解决沟通效率挑战.
- 减轻医学成像和报告风格中的双重数据异质性.
主要方法:
- 联邦学习 (FL) 框架用于维护隐私的MRG模型开发.
- 低级因子化以减少联合LLM调中的通信开销.
- 客户端意识到对比学习和诊断驱动的提示对编码器异质性.
- 解码器中的双适配器相互提升机制,用于报告风格变化.
主要成果:
- 联邦MRG在联邦环境中为MRG展示了有效的LLM培训.
- 该框架成功地解决了通信效率和数据异质性的问题.
- 评估证实了FedMRG在专门的基准指标上的通用性和适应性.
结论:
- FedMRG使LLM驱动的MRG模型的协作,保护隐私的开发成为可能.
- 该框架提高了通信效率,并处理多模式数据异质性.
- 在多个中心,FedMRG促进了临床准确的医疗报告的生成.
