Jove
Visualize
Contáctanos
JoVE
x logofacebook logolinkedin logoyoutube logo
ACERCA DE JoVE
Visión GeneralLiderazgoBlogCentro de Ayuda JoVE
AUTORES
Proceso de PublicaciónConsejo EditorialAlcance y PolíticasRevisión por ParesPreguntas FrecuentesEnviar
BIBLIOTECARIOS
TestimoniosSuscripcionesAccesoRecursosConsejo Asesor de BibliotecasPreguntas Frecuentes
INVESTIGACIÓN
JoVE JournalMethods CollectionsJoVE Encyclopedia of ExperimentsArchivo
EDUCACIÓN
JoVE CoreJoVE BusinessJoVE Science EducationJoVE Lab ManualCentro de Recursos para ProfesoresSitio de Profesores
Términos y Condiciones de Uso
Política de Privacidad
Políticas

Video Experimental Relacionado

Updated: Jan 14, 2026

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
03:14

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

Published on: December 6, 2024

1.0K

RAR: Recuperación y Clasificación de MLLM Aumentados para el Reconocimiento Visual

Ziyu Liu, Zeyi Sun, Yuhang Zang

    IEEE transactions on image processing : a publication of the IEEE Signal Processing Society
    |January 12, 2026
    PubMed
    Resumen

    Videos de Conceptos Relacionados

    También podría leer

    Artículos Relacionados

    Artículos vinculados a este trabajo por autores compartidos, revista y gráfico de citas.

    Ordenar por
    Same author

    Revisiting InternVL: A Systematic Technical Framework for Building Powerful Open-Source Vision-Language Models.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same author

    VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    GPT4Point++: Advancing Unified Point-Language Understanding and Generation.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    A survey of low-bit large language models: Basics, systems, and algorithms.

    Neural networks : the official journal of the International Neural Network Society·2025
    Same author

    GetMesh: A Controllable Model for High-quality Mesh Generation and Manipulation.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    PointLLM-V2: Empowering Large Language Models to Better Understand Point Clouds.

    IEEE transactions on pattern analysis and machine intelligence·2025

    Este estudio presenta RAR, un método novedoso que combina CLIP y Modelos de Lenguaje Grandes Multimodales (MLLM) para mejorar el reconocimiento visual de grano fino. RAR mejora las capacidades de pocos y cero disparos para conjuntos de datos extensos y detallados.

    Área de la Ciencia:

    • Visión por Computadora
    • Inteligencia Artificial
    • Aprendizaje Automático

    Sus antecedentes:

    • El preentrenamiento contrastivo de lenguaje e imágenes (CLIP) se destaca en asociaciones amplias pero tiene dificultades con distinciones de grano fino.
    • Los modelos de lenguaje grandes multimodales (MLLM) manejan la clasificación de grano fino pero se degradan con más categorías y contexto limitado.
    • Los métodos existentes enfrentan desafíos en el reconocimiento de pocos y cero disparos para vocabularios visuales grandes y detallados.

    Objetivo del estudio:

    • Desarrollar un método que sinergice CLIP y MLLM para mejorar el reconocimiento de pocos y cero disparos.
    • Abordar las limitaciones en el reconocimiento de grano fino y el rendimiento de MLLM con un mayor número de categorías.
    • Mejorar la precisión en conjuntos de datos con categorías visuales extensas y de grano fino.
    Palabras clave:
    Reconocimiento visualAprendizaje automáticoModelos de lenguaje grandes multimodalesReconocimiento de pocos disparosReconocimiento de cero disparosCLIPVisión por computadora

    Videos de Experimentos Relacionados

    Last Updated: Jan 14, 2026

    Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
    03:14

    Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

    Published on: December 6, 2024

    1.0K

    Principales métodos:

    • Introdujo RAR (Retrieving And Ranking), un método aumentado para MLLM.
    • Estableció un recuperador multimodal que utiliza CLIP para crear una memoria explícita para las categorías.
    • Implementó un proceso de recuperación y clasificación donde los MLLM predicen basándose en la memoria recuperada y el contexto.

    Principales resultados:

    • RAR aumenta significativamente la precisión en tareas de reconocimiento de visión y lenguaje.
    • Demostró mejoras sustanciales de rendimiento en 5 puntos de referencia de reconocimiento visual de grano fino.
    • Logró ganancias notables en 11 conjuntos de datos de reconocimiento de imágenes de pocos disparos y 2 conjuntos de datos de detección de objetos en configuraciones de cero disparos.

    Conclusiones:

    • RAR combina eficazmente las fortalezas de CLIP y MLLM para un reconocimiento de grano fino superior.
    • El método supera las limitaciones de la ventana de contexto y las restricciones del número de categorías en los MLLM.
    • RAR ofrece una solución robusta para el reconocimiento de pocos y cero disparos en conjuntos de datos visuales complejos.