大規模言語モデルに基づく農業質問応答システムの開発と評価

科学分野:

• 農業科学
• 人工知能
• 自然言語処理

背景:

• 大規模言語モデル（LLM）は、様々な分野で高度な能力を発揮する。
• 農業分野におけるLLMの応用は、依然として限定的で未発達である。
• 農業に特化したタスクにおけるLLMのパフォーマンスを包括的に評価する必要がある。

研究 の 目的:

• 農業分野における大規模言語モデル（LLM）の包括的な評価を実施すること。
• 農業分野の質問応答における様々なプロンプト戦略（ゼロショット、CoT、自己整合性、ToT）および自動プロンプトエンジニアリング（APE）の効果を評価すること。
• プロンプト方法がLLMによって生成された回答の精度と一貫性に与える影響を分析すること。

主な方法:

• 一般、園芸、作物生産のトピックを、易、中、難のレベルでカバーする多肢選択式の質問セットを開発した。
• GPT-4oおよびGemini-2.0-flash LLMを使用して、様々なプロンプト戦略で回答を生成した。
• 自動プロンプトエンジニアリング（APE）を使用した自動最適化プロンプトパイプラインを適用した。
• ブートストラップ信頼区間、ペアt検定、ANOVA、効果量測定を用いた統計分析を実施した。

主要な成果:

• LLMは農業分野の質問応答において全体的な成功を示したが、その性能は使用されるLLMとプロンプト戦略によって大きく異なった。プロンプト戦略とLLMの選択は、生成された回答の精度と一貫性の両方に影響を与えた。統計分析により、LLM、プロンプト方法、難易度レベル、カテゴリ全体でのパフォーマンスに有意な差があることが確認された。

結論:

• LLMは、特に質問応答システムにおいて、農業分野の応用に大きな可能性を秘めている。
• 専門分野である農業においてLLMのパフォーマンスと信頼性を向上させるためには、最適化されたプロンプト戦略が不可欠である。
• 本研究は、専門家向けのインテリジェントなデジタル農業アプリケーション開発の基盤を確立するものである。