StatLLM: 統計分析における大規模言語モデルのパフォーマンス評価のためのデータセット

科学分野:

• 機械学習
• データサイエンス
• 統計分析

背景:

• 大規模言語モデル（LLM）は、統計分析の自動化に有望であることを示しています。
• 広範な採用の前にLLM生成コードの精度を評価することが不可欠です。
• ベンチマークデータセットの欠如は、統計コーディングにおけるLLMの評価を妨げます。

研究 の 目的:

• 統計分析におけるLLMのパフォーマンスを評価するためのオープンソースデータセットであるStatLLMを導入する。
• LLM生成統計コードの精度と品質を評価するための包括的なベンチマークを提供する。
• 自然言語処理メトリクス、LLM機能、および統計ソフトウェア開発の進歩を促進する。

主な方法:

• 統計分析タスク、LLM生成SASコード（GPT-3.5、GPT-4、Llama-3.1 70B）、および人間の評価スコアを含むStatLLMデータセットを開発しました。
• 問題の説明、データセットの詳細、および人間によって検証されたSASコードを含む、多様な統計分析タスクを含めました。
• 生成されたコードの正確さ、有効性、可読性、実行可能性、および出力精度に関する専門家による人間の評価を収集しました。

主要な成果:

• StatLLMデータセットは、LLM生成統計コードを評価するための構造化されたフレームワークを提供します。
• 人間の評価は、統計コーディングにおけるさまざまなLLMの強みと弱みに関する洞察を提供します。
• このデータセットは、さまざまな統計タスクにわたるLLMパフォーマンスの定量的評価を可能にします。

結論:

• StatLLMは、統計分析におけるLLMのベンチマークと改善のための貴重なリソースです。
• このデータセットは、データサイエンスと機械学習のためのより正確で信頼性の高いAIツールの開発をサポートします。
• 将来の研究では、StatLLMを活用してNLPメトリクスと次世代統計ソフトウェアを強化できます。