人工智能驱动的客观结构化临床检查在数字健康教育中的产生:对三种GPT-4o配置的比较分析

科学领域:

• 医疗教育 技术 技术 医学教育
• 医疗保健中的人工智能
• 数字健康培训 数字健康培训

背景情况:

• 客观结构化临床检查 (OSCE) 对医学教育至关重要,但资源密集,特别是在数字健康方面.
• 大型语言模型 (LLM) 对自动化教育内容创建充满希望,但它们在产生OSCE中的使用尚未得到充分研究.

研究的目的:

• 评估三种 GPT-4o 配置,用于生成欧安组织数字卫生站.
• 为了比较标准的GPT,个性化的GPT (带参考书),和模拟代理的GPT (带有结构化的提示和参考书) 对于欧安组织的生成.

主要方法:

• 通过使用三个GPT-4o配置,在8个数字健康主题中生成了24个欧安组织站.
• 一名专家评估格式合规性,两名盲目数字健康专家使用详细的评估网格评估教育内容.
• 使用克鲁斯卡尔-瓦利斯测试进行统计分析结果.

主要成果:

• 模拟剂GPT显示出优越的格式合规性和内容质量,包括精度 (4.47/5) 和清晰度 (4.46/5).
• 这种配置在没有重大修改的情况下实现了88%的可用性,并受到专家的青.
• 标准GPT在清晰度和教育价值方面得分最低,而个性化GPT在格式合规性方面得分最低.

结论:

• 结构化的提示,特别是模拟专业代理,显著提高了LLM产生的欧安组织内容的可靠性和可用性.
• 人工智能,特别是先进的提示技术,可以有效地支持医学教育内容生成.
• 专家验证对于人工智能生成的教育材料仍然至关重要.