提高聊天机器人的成像推性能:利用GPT-4和背景意识提供可靠的临床指导

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 临床决策支持 临床决策支持

背景情况:

• 美国放射学学院 (ACR) 的适当性标准为医学成像提供了指导方针.
• 确保准确和一致地应用这些指南对于患者护理至关重要.
• 现有的聊天机器人可能缺乏必要的上下文意识,以提供可靠的建议.

研究的目的:

• 评估GPT-4是否能提高一个上下文感知聊天机器人的准确性,一致性和可信度,从而提供ACR成像建议.
• 通过透露聊天机器人决策的来源来实现可审计性.

主要方法:

• 一个现有的聊天机器人从GPT-3.5-Turbo升级到GPT-4,利用LlamaIndex和精细的提示.
• 性能与以前的版本,通用GPT模型和一般放射科医生在应用ACR指南时的性能进行了比较.

主要成果:

• 增强的GPT-4聊天机器人显著超过了以前的版本,通用模型和放射科医生在提供"通常或可能适当"建议 (p < 0.001) 中的表现.
• 它还超过了GPT-3.5-Turbo和放射科医生的"通常适当"建议 (p < 0.001).
• 一致性很高 (78%为"通常合适",94%为"通常或可能合适"),源文档归因一致.

结论:

• 背景意识对于在临床决策支持中准确地利用聊天机器人的知识至关重要.
• 拟议的战略通过提高准确性,一致性和来源透明度,提高了对聊天机器人输出的信任.
• 这种方法解决了信任问题,并推进了AI驱动的临床决策支持系统.