大規模言語モデルと大規模推論モデルの関係能力の評価

科学分野:

• 人工知能
• 認知科学
• 行動分析

背景:

• 生物および人工システムの知能を理解するためには、関係能力の評価が重要です。
• 人工知能における関係スキルを評価するための既存の方法は限られています。
• 行動分析タスクは、複雑な認知機能を調査するための堅牢なフレームワークを提供します。

研究 の 目的:

• 最先端の大規模言語モデル（LLM）と大規模推論モデル（LRM）の関係能力を評価すること。
• 一般化された関係スキルを評価するための、数千の三段論法問題の新しいバッテリーを導入すること。
• 刺激関数変換の複雑さと変動の影響をモデルのパフォーマンスで調査すること。

主な方法:

• いくつかの関係タイプ（同一性、差異、比較、階層、類推、時間的、指示的）を持つ三段論法問題の新しいバッテリーを使用しました。
• 問題には、非単語、さまざまな複雑さ（前提の数、無関係な前提）、および有効/無効な結論形式が含まれていました。
• 刺激関数の変換をテストし、前提順序をランダム化して複製研究を実施しました。

主要な成果:

• LLMとLRMは、新しい関係タスクバッテリーで一般的に良好なパフォーマンスを示しました。
• モデルは、さまざまな関係タイプでいくつかのばらつきを示し、タスクの変動による影響は最小限でした。
• 前提順序がランダム化されていてもパフォーマンスは堅牢であり、一般化可能な能力を示唆しています。

結論:

• 開発された三段論法タスクバッテリーは、人工システムにおけるコア知能能力を評価するための新しいフレームワークを提供します。
• LLMとLRMは、完全ではないものの、かなりの関係能力を示しています。
• 将来の研究では、人工一般知能への影響を調査し、評価方法論をさらに洗練する必要があります。