大規模言語モデルはマルチタスク連鎖思考プロンプトオプティマイザーです

科学分野:

• 人工知能
• 自然言語処理

背景:

• 大規模言語モデル（LLM）は印象的な推論能力を示しますが、プロンプトの設計に非常に敏感です。
• 手動連鎖思考（CoT）や自動生成などの現在のプロンプトエンジニアリング手法は、労働集約的であり、汎用性に欠けています。

研究 の 目的:

• LLMの推論パフォーマンスを向上させるための、より効率的で汎用性の高い方法を開発すること。
• LLMを活用して、反復的なプロンプトの自己修正と、最もパフォーマンスの高いプロンプトのアンサンブルを行うこと。

主な方法:

• LLMを、自然言語タスクの説明と少数の例を用いたコンテキスト内学習（ICL）を使用して、反復的なプロンプトの自己修正のためのマルチタスクオプティマイザーとして扱いました。
• タスク依存のプロンプト感度に対応するため、推論時に最もパフォーマンスの高いプロンプトをアンサンブルしました。

主要な成果:

• 様々なLLMにわたって、以前のベースラインを大幅に上回るパフォーマンス向上を達成しました。
• 数学的推論ベンチマークで最大6.0%、常識的推論ベンチマークで10.2%の改善を示しました。

結論:

• 提案されたマルチタスク最適化とプロンプトアンサンブルのアプローチは、従来のプロンプトエンジニアリング手法に代わる、強力で効率的な選択肢を提供します。
• この方法は、特に数学や常識の理解などの複雑な領域において、LLMの推論能力を大幅に向上させます。