自然语言处理器的准确性对于寻求 inguinal 信息的患者
Alex Lois1, Robert Yates2, Megan Ivy2
1Department of Surgery, University of Chicago, 5841 S. Maryland, MC 5095, Chicago, IL, 60637, USA. Alex.Lois@bsd.uchicago.edu.
Surgical endoscopy
|October 23, 2024
概括
像ChatGPT这样的自然语言处理 (NLP) 模型提供了可访问的健康信息,但有局限性. 虽然相关和准确的 inguinal ,他们的教育质量需要改善患者的理解.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 患者教育 患者教育
背景情况:
- 新的自然语言处理 (NLP) 模型,包括ChatGPT,越来越多地用于在线健康信息.
- NLP产生的健康反应的准确性和可靠性在很大程度上仍未得到验证.
- 可访问性和与搜索工具的整合使得NLP成为重要的新兴健康数据来源.
研究的目的:
- 评估NLP对模拟患者关于 inguinal hernias 的问题的反应的准确性,相关性和完整性.
- 与已建立的医疗资源相比,评估NLP产生的内容的可读性和教育质量.
- 告知外科医生关于NLP工具的实用性和局限性,用于患者教育.
主要方法:
- 四个NLP模型 (ChatGPT 3.5/4,Bard,Claude 2.0) 用模拟患者关于 inguinal hernias 的问题进行了查询.
- 响应被手术医生根据相关性,完整性和准确性使用利克尔特尺度进行分级.
- 评估了可读性 (Flesch-Kincaid) 和教育质量 (DISCERN),并与SAGES和ACS指南进行了比较.
主要成果:
- 在NLP反应中,相关性 (4.76) 和准确性 (4.14) 的平均得分较高.
- 与Bard和Claude 2.0.0相比,ChatGPT 4显示出更高的准确性.
- 黄金标准材料 (ACS) 在可读性和教育质量 (DISCERN分数) 方面表现优于NLP模型.
结论:
- 经过评估的NLP提供了有关 inguinal hernias 的相关和合理准确的信息.
- 与专家审查的材料相比,NLP生成的内容的可读性和教育质量得分较低.
- 随着患者教育工具的发展,外科医生应该意识到NLP的好处和局限性.
相关概念视频
Abdominal Regions and Quadrants
7.5K
To promote clear communication, for instance, about the location of a patient's abdominal pain or a suspicious mass, anatomists and clinicians typically use imaginary lines to categorize the abdominopelvic cavity into either four quadrants or nine regions to identify organs in the cavity.
The simpler quadrants approach, which is more commonly used in medicine, subdivides the cavity with one horizontal and one vertical line that intersects at the patient's umbilicus (navel). The four...
The simpler quadrants approach, which is more commonly used in medicine, subdivides the cavity with one horizontal and one vertical line that intersects at the patient's umbilicus (navel). The four...
7.5K
Guidelines for Nursing Documentation I
1.0K
Quality documentation and reporting share essential characteristics that ensure they are practical and valuable resources for those who use them. These characteristics are:
Factual:
The following points emphasize the significance of upholding accurate and unbiased documentation in healthcare.
Factual:
The following points emphasize the significance of upholding accurate and unbiased documentation in healthcare.
1.0K


