Mejorar la respuesta a preguntas específicas de oncología con modelos de lenguaje grandes a través de incorporaciones...

Área de la Ciencia:

• La informática médica
• Procesamiento del lenguaje natural
• Extracción de datos oncológicos

Sus antecedentes:

• Los avances en la generación de recuperación aumentada (RAG) y los grandes modelos de lenguaje (LLM) han transformado la extracción de evidencia del mundo real de los registros electrónicos de salud (EHR).
• La extracción de información clínica precisa de los registros oncológicos electrónicos no estructurados sigue siendo un desafío, que tiene un impacto en la investigación y la atención al paciente.

Objetivo del estudio:

• Mejorar la eficacia de los RAG para los EHR de oncología mediante el desarrollo de un codificador de retriever especializado.
• Mejorar la precisión y relevancia de las notas clínicas recuperadas para consultas específicas de oncología.

Principales métodos:

• Entrenando a un codificador de perros en más de seis millones de notas de oncología de 209.135 pacientes.
• Ajuste fino del modelo como un transformador de oraciones utilizando 12,371 pares de pasajes de consulta sintetizados por LLM.
• Evaluación del rendimiento de recuperación frente a seis modelos de incrustación utilizando métricas NDCG, Precision y Recall en 50 preguntas de oncología.

Principales resultados:

• El modelo desarrollado superó al subcampeón en un 9% en NDCG, 7% en Precision y 6% en Recall (los 10 primeros resultados).
• Se observó un rendimiento excepcional de recuperación en todas las métricas para las categorías oncológicas clave, como el diagnóstico, el estado de la enfermedad y las características del tumor.
• El modelo demostró una capacidad superior para recuperar las notas clínicas pertinentes de los EHR de oncología.

Conclusiones:

• Las incorporaciones contextuales y los transformadores de oraciones previamente entrenados son efectivos para recuperar las notas relevantes de la EHR oncológica.
• Los pares de consulta-pasaje sintetizados por LLM ofrecen una estrategia viable de aumento de datos para dominios especializados.
• Este enfoque de ajuste fino es prometedor para mejorar la extracción de datos en entornos de atención médica con datos anotados limitados.