Desbloqueo de informes de casos: aprovechar la generación aumentada de recuperación con grandes modelos de lenguaje...

Área de la Ciencia:

• Ciencias sociales computacionales
• La inteligencia artificial en el trabajo social
• Procesamiento del lenguaje natural para el bienestar del niño

Sus antecedentes:

• La investigación de los servicios de protección de la infancia (CPS) se enfrenta a desafíos debido a los datos no estructurados en los expedientes de casos.
• La generación aumentada de recuperación (RAG) y los grandes modelos de lenguaje (LLM) son prometedores para extraer datos estructurados de las narrativas.
• La clasificación automatizada a través de RAG puede reducir la necesidad de anotación manual de datos.

Objetivo del estudio:

• Extraer datos estructurados de los informes narrativos de casos de CPS utilizando RAG y LLM.
• Clasificar 24 factores del caso CPS, incluido el abuso psicológico, la cooperación de los padres y el abuso de alcohol por parte de los padres.
• Evaluar el rendimiento de los métodos RAG-LLM en comparación con la codificación humana para factores de caso complejos y directos.

Principales métodos:

• Un flujo de trabajo de cuatro etapas: recopilación de informes de casos, evaluación basada en RAG, extracción automatizada y etiquetado de casos.
• Se han utilizado 29.770 informes de CPS de Suiza (2008-2022).
• El rendimiento del modelo se validó con un conjunto de datos de consenso derivado de revisores humanos expertos.

Principales resultados:

• RAG-LLM logró una alta precisión: 82% para el abuso psicológico, 83% para la falta de cooperación de los padres y 95% para el abuso de alcohol por parte de los padres.
• El rendimiento del modelo superó las tasas de acuerdo de los revisores humanos (79%, 80%, 93% respectivamente).
• Las pistas contextuales dentro de los segmentos de texto fueron clave para una extracción RAG efectiva.

Conclusiones:

• La evaluación basada en las GAR puede reproducir efectivamente el juicio humano sobre los factores complejos del caso CPS.
• Se logró una alta precisión para factores sencillos como el abuso de alcohol por parte de los padres.
• Las aplicaciones RAG pueden funcionar como sistemas de alerta temprana, apoyando a los profesionales en la identificación de factores críticos y mejorando los resultados para los niños en riesgo.