TextMonkey: un modelo multimodal grande sin OCR para la comprensión de documentos

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• Los modelos multimodales grandes (LMM) son cada vez más importantes para tareas complejas.
• Los LMM existentes enfrentan desafíos en aplicaciones centradas en texto, particularmente con entradas de alta resolución y eficiencia de tokens.

Objetivo del estudio:

• Presentar TextMonkey, un LMM optimizado para tareas centradas en texto.
• Mejorar el rendimiento y la interpretabilidad en la comprensión de documentos y la detección de texto.

Principales métodos:

• Implementó la atención de ventana desplazada para mejorar la conectividad entre ventanas y la estabilidad de la capacitación.
• Utilizó el filtrado de tokens basado en similitud para reducir la redundancia y mejorar la eficiencia.
• Integró la detección de texto, la conexión a tierra y la información posicional para una mejor interpretabilidad.

Principales resultados:

• Logró una mejora del 5,2% en tareas centradas en texto en escena y del 6,9% en tareas orientadas a documentos.
• Demostró un aumento del 10,9% en la detección de texto en escena y estableció un nuevo estándar en OCRBench (puntuación de 561).
• Superó a los LMM de código abierto anteriores en los puntos de referencia de comprensión de documentos.

Conclusiones:

• TextMonkey ofrece avances significativos en las capacidades de los LMM centrados en texto.
• Las novedosas técnicas del modelo conducen a un rendimiento e interpretabilidad superiores.
• TextMonkey establece un nuevo punto de referencia para los modelos de comprensión de documentos de código abierto.