HealthContradict: Evaluación de conflictos de conocimiento biomédico en modelos de lenguaje

Área de la Ciencia:

• Inteligencia Artificial
• Informática Biomédica
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los modelos de lenguaje (LM) se utilizan cada vez más para la recuperación de información de salud.
• Es crucial evaluar el rendimiento de los LM con información biomédica compleja y contradictoria.

Objetivo del estudio:

• Evaluar cómo los LM razonan sobre contextos biomédicos largos y contradictorios.
• Evaluar el impacto de diferentes configuraciones contextuales en las respuestas de los LM a preguntas de salud.

Principales métodos:

• Se utilizó HealthContradict, un conjunto de datos verificado por expertos de 920 instancias con preguntas de salud, respuestas fácticas y documentos contradictorios.
• Se probaron varias configuraciones de indicaciones, incluidos contextos correctos, incorrectos y contradictorios.
• Se midió el impacto del contexto en las salidas de los LM.

Principales resultados:

• El conjunto de datos HealthContradict diferencia las capacidades de razonamiento contextual de los LM de manera más efectiva que los puntos de referencia existentes.
• Los LM biomédicos ajustados demuestran la capacidad de aprovechar el contexto correcto.
• Los modelos mostraron resiliencia contra información contextual incorrecta o contradictoria.

Conclusiones:

• La fortaleza de los LM biomédicos proviene tanto del conocimiento de preentrenamiento como del razonamiento contextual.
• Los LM pueden utilizar eficazmente información de salud precisa y al mismo tiempo mitigar la influencia de la desinformación.