在移动健康戒烟干预中提高信息意图的检测,使用大语言模型微调,数据减样和错误纠正:算法开发和验证
Shagoto Rahman1, Cornelia Connie Pechmann2, Ian G Harris1
1Department of Computer Science, University of California, Irvine, Irvine, CA, 92697, United States, 1 9492334120.
Journal of medical Internet research
|March 11, 2026
概括
微调大型语言模型 (LLM) 显著改善了戒烟聊天机器人的意图检测. 通过降低样本来解决不平衡的数据,提高了性能,显示了LLM.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 数字健康干预措施 数字健康干预措施
背景情况:
- 尽管有支持小组和尼古丁替代疗法 (NRT) 等戒烟辅助工具,但戒烟率仍然很低.
- 移动健康干预提供了可访问性,但需要及时响应,使得准确的意图检测对聊天机器人至关重要.
- 大型语言模型 (LLM) 对意图检测有希望,但与复杂的语言和不平衡的数据集作斗争.
研究的目的:
- 开发和评估使用LLM的AI工具,用于在戒烟信息中准确检测戒烟意图.
- 来自戒烟支持小组干预的用户消息中的数据集不平衡和复杂性的挑战.
主要方法:
- 使用Llama-3 8B LLM,最初是现成的.
- 在一个注释数据集上对LLM进行了微调,包含25个意图类别.
- 实施了数据采样,以减轻主导意图类别的偏差,并探索了人类注释中的错误纠正.
主要成果:
- 现成的LLM的表现很差 (F1分数为0.29-0.41).
- 微调显著改善了性能 (F1分数为0.72-0.86).
- 微调与下调样本和错误校正相结合,在更正的数据集上实现了高F1得分 (0.86-0.90),尽管在完整的数据集上性能不同.
结论:
- 针对特定领域的微调对于LLM在戒烟方面的表现至关重要.
- 数据集的不平衡会对LLM的准确性产生负面影响,降低样本可以提供适度的改进.
- 虽然错误纠正可以改进注释,但自动降低样本可能是改善意图检测的更有效的策略.
