Lecciones de la pista TREC de adaptación de resúmenes biomédicos a lenguaje claro (PLABA)

Área de la Ciencia:

• Informática Biomédica
• Procesamiento del Lenguaje Natural
• Comunicación de la Salud

Sus antecedentes:

• Los avances en los Modelos de Lenguaje Grandes (LLM) ofrecen potencial para traducir literatura biomédica compleja a un lenguaje claro y accesible para pacientes y cuidadores.
• La imprevisibilidad inherente y los riesgos potenciales asociados con los LLM en este dominio sensible exigen marcos de evaluación rigurosos.

Objetivo del estudio:

• Estimular la investigación en la adaptación de la literatura biomédica al lenguaje claro.
• Proporcionar una evaluación de alta calidad de los sistemas LLM para esta tarea.

Principales métodos:

• La pista de Adaptación de Lenguaje Claro de Resúmenes Biomédicos (PLABA) en las Conferencias de Recuperación de Texto (TRC) 2023-2024.
• Tarea 1: Reescrittura a nivel de oración de 400 resúmenes.
• Tarea 2: Identificación y reemplazo de términos difíciles en 300 resúmenes.
• Se utilizó un conjunto de referencia de cuatro pliegues escrito profesionalmente para la evaluación automática y una evaluación manual exhaustiva por parte de expertos biomédicos.

Principales resultados:

• Los modelos con mejor rendimiento en la Tarea 1 demostraron precisión y completitud fáctica a nivel humano, pero carecieron de simplicidad y brevedad.
• Las métricas de evaluación automática mostraron una pobre correlación con los juicios manuales.
• Los sistemas tuvieron dificultades con la identificación de términos en la Tarea 2, pero se destacaron en precisión, completitud y simplicidad para los reemplazos, aunque la brevedad siguió siendo un desafío.

Conclusiones:

• La pista PLABA destacó el potencial de los LLM para la simplificación de textos biomédicos.
• Los LLM todavía presentan deficiencias, lo que subraya la necesidad de mejores herramientas de evaluación automática para la adaptación al lenguaje claro.