Revisión sistemática de los grandes modelos de lenguaje en cirugía ortopédica

Área de la Ciencia:

• Cirugía ortopédica
• Inteligencia artificial
• Educación médica

Sus antecedentes:

• El rápido desarrollo de Grandes Modelos de Lenguaje (LLM) desde 2022 presenta nuevas oportunidades en cirugía ortopédica.
• Esta revisión sistemática es la primera que examina el panorama actual de la investigación de LLM en el campo.

Objetivo del estudio:

• Para identificar las LLM investigadas en ortopedia.
• Evaluar sus funcionalidades y la calidad de sus resultados.
• Para comparar el rendimiento de LLM con residentes ortopédicos.

Principales métodos:

• Revisión sistemática realizada con el uso de PubMed, Embase y Cochrane Library.
• Cumplimiento de las directrices sobre las partidas de información preferidas para las revisiones sistemáticas y los metanálisis (PRISMA).
• La inclusión de 60 estudios que evalúan LLMs como ChatGPT, Bard, Perplejidad AI y Bing.

Principales resultados:

• ChatGPT 4.0 demostró una mayor precisión (47.2-73.6% sin imágenes) que ChatGPT 3.5 (29.4-55.8% sin imágenes).
• Bard logró una precisión del 49,8-58%; las evaluaciones basadas en imágenes mostraron un rendimiento más bajo para todos los LLM.
• Los residentes ortopédicos superaron constantemente a los LLM, con una puntuación del 74,2 al 75,3%.

Conclusiones:

• ChatGPT 4.0 mejoró significativamente sobre ChatGPT 3.5 en la precisión de la evaluación ortopédica.
• Los residentes ortopédicos generalmente obtuvieron puntuaciones más altas que los LLM actuales.
• Existen oportunidades sustanciales para mejorar el rendimiento de LLM en evaluaciones ortopédicas, análisis de imágenes y documentación clínica.