Evaluación de estrategias de fragmentación y incorporación para la recuperación de documentos locales utilizando un...

Área de la Ciencia:

• Procesamiento del lenguaje natural
• Recuperación de la información
• Inteligencia artificial

Sus antecedentes:

• La generación aumentada de recuperación (RAG) mejora el acceso a la información consciente del contexto y rastreable.
• Los sistemas RAG específicos de dominio requieren estrategias adaptadas para un rendimiento óptimo.
• Este estudio se centra en las GRA para los documentos administrativos del Hospital Universitario de Halle.

Objetivo del estudio:

• Explorar estrategias de fragmentación y incorporación para un sistema de preguntas y respuestas basado en RAG.
• Para evaluar la selección del modelo, el ajuste de parámetros y el rendimiento de recuperación.
• Establecer las bases para un chatbot RAG que ayude al personal del hospital a acceder a los documentos.

Principales métodos:

• Preprocesado y triturado un corpus de 1.219 documentos administrativos.
• Se evaluaron ocho modelos de incrustación utilizando el puntaje de similitud y la relevancia marginal máxima (MMR).
• Se analizaron los modelos superiores (Jinaai-v3, Aari1995) con parámetros variados y retrievers de conjunto.

Principales resultados:

• Aari1995 obtuvo una puntuación del 92,3% en el Top 10, mostrando un rendimiento estable.
• Jinaai-v3 sobresalió en las puntuaciones Top5 (84,6%) y Top3 (76,9%), pero fue menos estable.
• Los Ensemble Retrievers mejoraron la calidad; Jinaai-v3 ofreció una generación de almacenamiento de vectores más rápida; Similarity Score superó a MMR.

Conclusiones:

• La fragmentación y la incrustación tienen un impacto significativo en la efectividad de la recuperación de RAG.
• Jinaai-v3 y Aari1995 ofrecen distintas compensaciones en cuanto a estabilidad, precisión y eficiencia.
• Los hallazgos apoyan un sistema RAG ejecutable localmente, guiando la optimización de parámetros futuros.