人工智能产生的有关青少年异常性关节炎的信息的全球变化

科学领域:

• 医疗信息学 医疗信息学
• 人工智能在医学中的应用
• 类风湿病学 类风湿病学

背景情况:

• 大型语言模型 (LLM) 越来越多地用于医疗信息检索.
• 评估LLM产生的内容的准确性和区域差异对于临床实践至关重要.
• 关节性青少年异常性关节炎 (oJIA) 需要准确和特定于背景的治疗信息.

研究的目的:

• 评估不同全球地区关于oJIA的LLM响应的相似性和差异.
• 分析LLM产生的内容的可读性,术语的独特性和遵守临床建议.

主要方法:

• 根据2021年ACR oJIA治疗指南,利用了十个PICO问题.
• 来自加拿大,印度,意大利,肯尼亚和土耳其的五个国家的英语Prompt ChatGPT 4o.
• 评估可读性 (FRES),术语区分性 (TF-IDF) 和并发网络 (CONs).
• 通过使用类似利克特级别的专家审查,评估了对建议的遵守.

主要成果:

• 答案难以读取 (中位数为FRES 30).
• 坚持率因专家而异 (52%-84%),但在不同国家是相似的.
• 评价者之间对坚持的一致性很弱 (卡帕<0.40).
• 术语的独特性因国家而异 (0.60-0.85).
• 观察到重点的区域差异 (例如,意大利对皮质类固醇,肯尼亚对结果).

结论:

• 在临床环境中,LLM产生的医疗信息需要进行批判性评估.
• 在LLM内容的区域差异需要仔细考虑.
• 需要标准化的方法来评估人工智能生成的医疗信息.