閉じたライブラリマルチドキュメントのクエリ,テスト生成,および評価のための大規模な言語モデル

科学分野:

• 人工知能
• 知識管理
• 情報科学

背景:

• 技術的な職業は 複雑で頻繁に更新される文書から 進化する知識を学ぶという課題に直面しています
• 知識テストの作成と改訂は,広範な知識基盤の更新を追跡する必要があります.
• 大規模言語モデル (LLM) は,AIによる知識獲得と継続的な学習の枠組みを提供します.
• リトリーバル・アグメンテッド・ジェネレーション (RAG) は,事前訓練されたLLMとドメイン特有の知識ベースを統合します.

研究 の 目的:

• 大型文書に関する有効なLLM-RAG質問応答のための方法 (DaaDy,SQAD) を導入する.
• 知識集約的なタスクのためのAI (AIKIT) ソリューションを提示し,訓練および継続教育のための多数のドキュメントを管理します.
• オープンソースのコンテナ化ソリューションを様々なシステムに展開します

主な方法:

• LLM-RAGの実装のために,DaaDy (辞書としての文書) とSQAD (構造化された質問答え辞書) を開発しました.
• LLM,RAG,ベクトルストア,Webインターフェイスを統合したコンテナ化されたオープンソースソリューションであるAIKITを作成しました.
• 長いソースドキュメントの質問範囲を改善するために,ドキュメントセグメンテーションを使用しました.

主要な成果:

• 文書のセグメンテーションは,LLM-RAGで生成された質問,特に長い文書のカバーを強化します.
• AIKITは,マルチモダルのRAGソースドキュメントで複数のLLMモデルの使用を容易にします.
• AIKITは,単一または複数のLLMモデルのクエリに対するLLM-RAG応答を保持します.

結論:

• AIKITは,複雑な情報でLLM-RAGの機能を活用するためのユーザーフレンドリーなツールキットを提供しています.
• このソリューションは,複数のLLMモデルの統合と利用を簡素化します.
• AIKITは,クエリ応答を保持することによって,技術分野での継続的な学習と知識管理をサポートします.