从智能手机图像提供药物说明时评估生成人工智能的准确性

科学领域:

• 医疗保健中的人工智能
• 医疗信息学 医疗信息学
• 患者教育 技术 技术

背景情况:

• 美国食品和药物管理局 (FDA) 要求患者标签,如药物指南 (MG) 和使用说明书 (IFU),以确保安全的药物实践.
• 低健康素养和复杂的材料导航可以导致药物错误,治疗失败和不良事件.
• 生成性AI提供了一种新的方法,用于使用图像识别和文本生成进行可扩展,个性化的患者教育.

研究的目的:

• 评估来自用户提交的药物图像的ChatGPT生成的药物说明的准确性和安全性.
• 将人工智能生成的说明与官方制造商的使用说明书 (IFU) 和药物指南 (MG) 进行比较.

主要方法:

• 12种多步管理药物的图像被输入到ChatGPT的图像识别功能中.
• 使用文本分类器,计数向量化 (CountVec) 和术语频率-反向文档频率 (TF-IDF) 来比较AI响应与官方文档.
• 独立的药剂师评估了ChatGPT生成的患者使用说明的临床准确性和有效性.

主要成果:

• 聊天GPT准确地识别了所有药物,并制作了相应的说明.
• 与TF-IDF相比,CountVec显示出优越的文本相似性 (平均76%) .
• 临床评估强调了人工智能为复杂药物生成的指令存在重大缺陷,影响了准确性.

结论:

• 聊天GPT在生成患者友好的药物说明方面表现有希望,但性能取决于药物复杂性.
• 进一步开发和严格的临床验证对于确保人工智能驱动的医疗指导的安全性和可靠性至关重要,特别是对于复杂的药物管理协议.