GATmathとGATLc:アラビア語の大型言語モデルを評価するための包括的な基準
Safa AlBallaa1, Nora AlTwairesh1, Abdulmalik AlSalman1
1Department of Computer Science, College of Computer and Information Sciences, King Saud University, Riyadh, Saudi Arabia.
アラビア語の大型言語モデル (LLM) の開発は,基準が限られているため,困難です. 新しいデータセットであるGATmathとGATLcは,アラビア語のAIの進歩を促すための大規模な推論と言語のタスクを提供します.
科学分野:
- 人工知能
- 自然言語処理
- コンピュータ言語学
背景:
- 大型言語モデル (LLM) はAIを進歩させていますが,その開発には堅実な評価が必要です.
- アラビア語のLLMの評価は,包括的なベンチマークや評価ツールがないため困難です.
- この不足は アラビア語モデルの進歩と現実世界の応用を 制限しています
研究 の 目的:
- GATmath (7k問題) とGATLc (9k問題) を導入し,マルチタスク推論と言語理解のための新しいアラビア語基準です.
- アラビア語専用に設計された最初の大規模で包括的な推論データセットを提供します.
- 厳格な評価を促し,アラビア語のLLMの進歩を推進する.
主な方法:
- 一般能力テスト (GAT) から派生した2つの大規模なアラビア語データセット,GATmathとGATLcを作成しました.
- データセットには,推論,意味論分析,言語理解,数学的な問題解決を必要とする多様なカテゴリーが含まれています.
- これらの新しいベンチマークで7つの著名なLLMを評価しました.
主要な成果:
- 最高性能のLLMは66.9% (GATmath) と64.3% (GATLc) の精度しか得られなかった.
- これらの結果は,GATmathとGATLcのデータセットがもたらす重大な困難を強調しています.
- 現在の最先端のLLMは,アラビア語の推論と言語理解に重大な限界があることを示しています.
結論:
- GATmathとGATLcのデータセットは,既存のアラビア語のLLMにとって大きな課題です.
- もっと優れたアラビア語モデルの開発には 改善の余地があります
- これらのベンチマークは アラビア語のAIの研究開発を進めるために不可欠です
さらに関連する動画
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
09:09Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody
Published on: September 27, 2024
関連する概念動画
Improving Translational Accuracy
Multiple Comparison Tests
It would be easy to compare two samples using a significance alpha level of 0.05. In other words, there is only one sample pair to be compared. However, it would be difficult to identify a significantly different sample if the number...
Language and Cognition
Language Development
The critical period for language acquisition suggests that the ability to acquire language is at its peak early in life. As people age, this proficiency decreases. Language development begins very...
Aggregates Classification
Petrographic classification groups aggregates based on common mineralogical characteristics. Some of the common mineral groups found in aggregates are...
One-Compartment Open Model: Wagner-Nelson and Loo Riegelman Method for ka Estimation
On...
