[谈话代理人在解读病理病变的文字描述时的表现研究]

科学领域:

• 病理学 病理学 病理学
• 人工智能的人工智能
• 医疗信息学 医疗信息学

背景情况:

• 人工智能 (AI) 应用在解剖和细胞病理学 (ACP) 中正在扩大,特别是在图像分析中.
• 由大型语言模型 (LLM) 驱动的对话代理 (CAs) 在解释非洲半生物学特征方面具有潜在的实用性.
• 在ACP中,CA的有效性和安全性需要进行彻底的评估.

研究的目的:

• 评估领先的对话代理 (ChatGPT,Copilot,Gemini,Mistral) 在分析解剖学和细胞学病理学描述中的表现.
• 为了确定ACP文本分析中CA提供的准确性,错误类型和额外信息.
• 探索影响CA响应质量的因素,包括数据可用性.

主要方法:

• 标准化,上下文化的半生物学描述的ACP案例提交给了四个CA:ChatGPT,Copilot,Gemini和Mistral.
• 系统评估了反应的准确性,诊断错误 (幻觉) 和补充信息.
• 分析了CA响应质量与在线数字文档 (谷歌,谷歌学者,PubMed) 的数量之间的相关性.

主要成果:

• 在四个CA中,响应质量差异很大,在高达82%的病例中 (ChatGPT) 在第一次尝试时实现了正确的诊断.
• 严重的诊断错误,称为"幻觉",在多达9%的病例中发生 (Gemini).
• CA的响应质量与特定病理的在线搜索结果数量呈正相关,这表明与数据可访问性有关.

结论:

• 谈话代理在非洲半生物学分析中显示出可变的性能,需要谨慎.
• 显著的诊断不准确和幻觉的风险强调了专家人类监督的必要性.
• 虽然有希望,但CA在病理学中的当前应用需要在广泛临床采用之前进行严格的验证.