强化学习用于基于LLM的可解释的TCM处方建议,并从小语言模型中隐含偏好
Xinyu Wang1,2,3, Xiaohe Sun4, Lei Yang1
1School of Artificial Intelligence and Information Technology, Nanjing University of Chinese Medicine, Nanjing, 210023, China.
Chinese medicine
|November 19, 2025
概括
这项研究引入了传统中医药 (TCM) 处方建议的新两阶段框架,提高了准确性和解释性. 该方法利用知识蒸和强化学习来改善临床决策支持.
科学领域:
- 人工智能的人工智能
- 计算医学是一种计算医学.
- 传统中国医药 传统中国医药
背景情况:
- 传统中医 (TCM) 处方建议需要提高可解释性和准确性.
- 现有的智能决策支持系统通常在建议中缺乏透明度.
研究的目的:
- 开发一个两阶段的培训框架,以提高TCM处方建议的解释性和准确性.
- 将知识蒸和隐性偏好驱动的强化学习整合到一个紧的模型中.
主要方法:
- 使用GPT-4o分析TCM临床记录的蒸样本.
- 使用低级调整 (LoRA) 来微调Qwen2.5-7B模型以产生可解释的输出.
- 训练了一种轻量级的BART模型,并使用直接偏好优化 (DPO) 来进行强化调整.
主要成果:
- 实现了35.62%的P@30和37.36%的F1@30,表现优于基线.
- 知识蒸提高了概括性和可解释性.
- 强化学习进一步提高了F1@30的2.01%.
结论:
- 拟议的方法提高了TCM处方建议的质量和透明度.
- 提供了构建可靠和临床适用的智能TCM决策支持系统的策略.

