中国在线卫生教育资源的自动化多层标记使用大型语言模型:开发和验证研究

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在公共卫生中的作用
• 数字健康传播数字健康传播

背景情况:

• 精确的健康促进需要量身定制的信息,但受到数字健康图书馆中的非结构化元数据的限制.
• 缺乏结构化元数据阻碍了可扩展的内容交付,并导致公共信息过载.

研究的目的:

• 开发,部署和验证使用大型语言模型 (LLM) 的自动标记系统.
• 创建必要的元数据基础设施,以实现大规模的个性化健康沟通.

主要方法:

• 开发了一个三层健康促进分类系统 (90,562个三级标签),使用混合的Delphi和corpus-mining.
• 构建了一个混合人工智能管道,微调一个Baichuan2-7B LLM,通过NER和一个矢量数据库来改进.
• 使用人工智能-人类 (A-H) 和人类-人类 (H-H) 间评分可靠性 (IRR) 对手册注释进行系统性能评估.

主要成果:

• 人工智能与人类之间的协议 (科恩 κ=0.54) 超过了非专家的人与人之间的协议 (科恩 κ=0.32).
• 人工智能在15.9%的案例中识别了人类错过的相关标签.
• 专家判断证实了AI添加剂标签的准确度为90%.

结论:

• 在混合管道中微调的LLM有效地增加了健康内容注释.
• 与传统的手动注释工作流相比,人工智能系统表现出更高的一致性和准确性.
• 这项研究为使用人工智能增强精确健康沟通提供了蓝图.