Jove
Visualize
お問い合わせ
JoVE
x logofacebook logolinkedin logoyoutube logo
JoVEについて
概要リーダーシップブログJoVEヘルプセンター
著者向け
出版プロセス編集委員会範囲と方針査読よくある質問投稿
図書館員向け
推薦の声購読アクセスリソース図書館諮問委員会よくある質問
研究
JoVE JournalMethods CollectionsJoVE Encyclopedia of Experimentsアーカイブ
教育
JoVE CoreJoVE BusinessJoVE Science EducationJoVE Lab Manual教員リソースセンター教員サイト
利用規約
プライバシーポリシー
ポリシー

関連する実験動画

Updated: Jan 14, 2026

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
03:14

Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

Published on: December 6, 2024

1.0K

RAR: 視覚認識のための検索およびランキング拡張MLLM

Ziyu Liu, Zeyi Sun, Yuhang Zang

    IEEE transactions on image processing : a publication of the IEEE Signal Processing Society
    |January 12, 2026
    PubMed
    まとめ

    この研究では、細粒度視覚認識を改善するためにCLIPとマルチモーダル大規模言語モデル（MLLM）を組み合わせた新しい手法であるRARを紹介します。RARは、広範で詳細なデータセットの少数ショットおよびゼロショット機能を強化します。

    関連する概念動画

    こちらも読む

    関連記事

    共著者、ジャーナル、引用グラフによってこの研究に関連する記事。

    並び替え
    Same author

    Revisiting InternVL: A Systematic Technical Framework for Building Powerful Open-Source Vision-Language Models.

    IEEE transactions on pattern analysis and machine intelligence·2026
    Same author

    VBench++: Comprehensive and Versatile Benchmark Suite for Video Generative Models.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    GPT4Point++: Advancing Unified Point-Language Understanding and Generation.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    A survey of low-bit large language models: Basics, systems, and algorithms.

    Neural networks : the official journal of the International Neural Network Society·2025
    Same author

    GetMesh: A Controllable Model for High-quality Mesh Generation and Manipulation.

    IEEE transactions on pattern analysis and machine intelligence·2025
    Same author

    PointLLM-V2: Empowering Large Language Models to Better Understand Point Clouds.

    IEEE transactions on pattern analysis and machine intelligence·2025

    科学分野:

    • コンピュータビジョン
    • 人工知能
    • 機械学習

    背景:

    • 対照言語画像事前学習（CLIP）は広範な関連付けに優れていますが、細粒度な区別には苦労します。
    • マルチモーダル大規模言語モデル（MLLM）は細粒度分類を処理しますが、カテゴリ数が増加したりコンテキストが限られたりするとパフォーマンスが低下します。
    • 既存の手法は、大規模で詳細な視覚語彙の少数ショット/ゼロショット認識において課題に直面しています。

    研究 の 目的:

    • CLIPとMLLMを組み合わせて、少数ショット/ゼロショット認識を強化する手法を開発すること。
    • カテゴリ数が増加した場合の細粒度認識とMLLMのパフォーマンスの限界に対処すること。
    • 広範で詳細な視覚カテゴリを持つデータセットの精度を向上させること。

    主な方法:

    • MLLMのための拡張手法であるRAR（Retrieving And Ranking）を導入しました。
    • カテゴリの明示的なメモリを作成するためにCLIPを使用したマルチモーダルリトリーバーを確立しました。
    • MLLMが取得したメモリとコンテキストに基づいて予測する、検索およびランキングプロセスを実装しました。

    主要な成果:

    • RARは、ビジョンと言語の認識タスクにおける精度を大幅に向上させます。
    キーワード:
    細粒度視覚認識マルチモーダル大規模言語モデルCLIP少数ショット学習ゼロショット学習検索拡張生成

    関連する実験動画

    Last Updated: Jan 14, 2026

    Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
    03:14

    Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness

    Published on: December 6, 2024

    1.0K
  • 5つの細粒度視覚認識ベンチマークで実質的なパフォーマンスの向上を実証しました。
  • ゼロショット設定で11の少数ショット画像認識データセットと2つの物体検出データセットで注目すべき改善を達成しました。

    • 結論:

    • RARは、CLIPとMLLMの強みを効果的に組み合わせて、優れた細粒度認識を実現します。
    • この手法は、MLLMにおけるコンテキストウィンドウの制限とカテゴリ数の制約を克服します。
    • RARは、複雑な視覚データセットにおける少数ショット/ゼロショット認識のための堅牢なソリューションを提供します。