Un punto de referencia a gran escala para evaluar grandes modelos lingüísticos sobre preguntas médicas que responden...

Área de la Ciencia:

• Procesamiento del lenguaje natural.
• La informática médica es la informática médica.
• Inteligencia Artificial en el cuidado de la salud.

Sus antecedentes:

• El desarrollo de sistemas robustos de preguntas y respuestas médicas (QA) es crucial para el apoyo a la decisión clínica.
• Los puntos de referencia existentes a menudo carecen de capacidades multilingües y datos específicos de dominio.
• Los datos médicos en lengua rumana presentan desafíos únicos para los modelos actuales de IA.

Objetivo del estudio:

• Introducir MedQARo, el primer punto de referencia de QA médico a gran escala en rumano.
• Evaluar exhaustivamente el rendimiento de los modelos de lenguaje grande (LLM) de última generación en este punto de referencia.
• Evaluar las capacidades de generalización de los LLM en diferentes dominios y centros médicos.

Principales métodos:

• Construcción de un conjunto de datos de alta calidad con 105.880 pares de QA de 1242 resúmenes de casos de pacientes con cáncer.
• Evaluación de cuatro LLM de código abierto utilizando el impulso de disparo cero y el ajuste fino supervisado.
• Evaluación de dos LLMs basados en API (GPT-5.2, Gemini 3 Flash) en el punto de referencia de MedQARo.

Principales resultados:

• Los LLM afinados superaron significativamente a los modelos de disparo cero en todas las colecciones de pruebas.
• Los modelos preentrenados demostraron capacidades limitadas de generalización en el punto de referencia MedQARo.
• El rendimiento varió en diferentes familias de LLM y estrategias de ajuste fino.

Conclusiones:

• El ajuste fino específico de dominio y específico de idioma es esencial para un QA clínico confiable en rumano.
• MedQARo proporciona un valioso recurso para el avance de la investigación médica de PNL en lenguas subrepresentadas.
• El trabajo futuro debe centrarse en mejorar la generalización de LLM para tareas complejas de razonamiento clínico.