Grandes modelos de lenguaje para consulta de múltiples documentos de biblioteca cerrada, generación de pruebas y...

Área de la Ciencia:

• Inteligencia artificial
• Gestión del conocimiento
• Ciencias de la información

Sus antecedentes:

• Las profesiones técnicas se enfrentan a desafíos en el aprendizaje de conocimientos complejos y en evolución a partir de documentos amplios y actualizados con frecuencia.
• La generación y revisión de pruebas de conocimiento requiere el seguimiento de actualizaciones en bases de conocimiento extensas.
• Los grandes modelos lingüísticos (LLM) ofrecen un marco para la adquisición de conocimientos asistida por IA y el aprendizaje continuo.
• La generación aumentada de recuperación (RAG, por sus siglas en inglés) integra a los LLM pre-entrenados con las bases de conocimiento específicas del dominio.

Objetivo del estudio:

• Introducir métodos (DaaDy, SQAD) para una respuesta eficaz de preguntas y respuestas de LLM-RAG en documentos grandes.
• Presentar la solución de IA para tareas intensivas en conocimiento (AIKIT) para la gestión de numerosos documentos de formación y educación continua.
• Proporcionar una solución de código abierto y en contenedores desplegable en varios sistemas.

Principales métodos:

• Desarrolló DaaDy (documento como diccionario) y SQAD (diccionario estructurado de preguntas y respuestas) para la implementación de LLM-RAG.
• Creado AIKIT, una solución de código abierto en contenedores que integra LLMs, RAG, almacenes vectoriales y una interfaz web.
• Segmentación de documentos empleada para mejorar la cobertura de preguntas para documentos de origen largos.

Principales resultados:

• La segmentación de documentos mejora la cobertura de las preguntas generadas por LLM-RAG, especialmente para documentos extensos.
• AIKIT facilita el uso de múltiples modelos de LLM con documentos fuente RAG multimodales.
• AIKIT retiene las respuestas LLM-RAG para consultas en modelos LLM únicos o múltiples.

Conclusiones:

• AIKIT ofrece un conjunto de herramientas fáciles de usar para aprovechar las capacidades de LLM-RAG con información compleja.
• La solución simplifica la integración y la utilización de múltiples modelos de LLM.
• AIKIT apoya el aprendizaje continuo y la gestión del conocimiento en campos técnicos mediante la retención de respuestas a consultas.