GastroGPT: Desarrollo y pruebas controladas de un modelo de lenguaje clínico personalizado de prueba de concepto

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Procesamiento clínico del lenguaje natural
• Aplicaciones de la IA en gastroenterología

Sus antecedentes:

• Los modelos de lenguaje grande de IA de propósito general (LLM) tienen una utilidad clínica limitada, utilizados principalmente para la documentación y el resumen.
• Se necesitan modelos de IA específicos para mejorar el rendimiento en dominios médicos complejos.
• La gastroenterología presenta un desafío único para la IA debido a sus diversas tareas clínicas.

Objetivo del estudio:

• Desarrollar y evaluar GastroGPT, un nuevo LLM clínico multi-tarea específico para la gastroenterología.
• Comparar el rendimiento de GastroGPT con los principales LLM de uso general (GPT-4, Bard, Claude).
• Evaluar la eficacia del modelo de IA en diversos escenarios de casos de gastroenterología y tareas clínicas.

Principales métodos:

• Una comparación estructurada de GastroGPT con tres LLM de uso general de última generación.
• Evaluación en siete tareas clave de gastroenterología y 10 casos simulados de diversa complejidad.
• Evaluación de la utilidad clínica por parte de un panel de expertos a ciegas utilizando una escala Likert de 10 puntos y análisis estadístico.

Principales resultados:

• GastroGPT obtuvo puntuaciones globales significativamente más altas (8.1) en comparación con GPT-4 (5.2), Bard (5.7) y Claude (7.0) (P < 0.001).
• GastroGPT superó a los LLM generales en seis de las siete tareas clínicas y demostró una consistencia de puntuación superior.
• El rendimiento del modelo fue consistente en todas las complejidades del caso para GastroGPT, a diferencia de los modelos generales (P < 0,001).

Conclusiones:

• GastroGPT demuestra una utilidad clínica y un rendimiento superior en comparación con los LLM de uso general en gastroenterología.
• Los modelos de IA específicos de la especialidad ofrecen ventajas significativas sobre los modelos generales para aplicaciones médicas específicas.
• Este estudio destaca el potencial de las soluciones de IA a medida para avanzar en la medicina clínica.