英語ライティング評価における精度、公平性、学習者認識のための説明可能なAIフレームワーク

科学分野:

• 教育における人工知能、自然言語処理、教育技術

背景:

• 自動ライティング評価（AWE）は効率性を提供するが、透明性と公平性が欠けていることが多い。従来のAWEフレームワークは、学習者の認識と公平性を無視している可能性があり、教育的価値を制限している。説明可能なAI（XAI）は、教育ツールにおける信頼と理解のために不可欠である。

研究 の 目的:

• 自動ライティング評価（AWE）のための説明可能なAI（XAI）フレームワークを提案し、検証する。精度、公平性、認識を考慮した多層評価モデル（3層評価フレームワーク - TLEF）を統合する。多言語学習者におけるAWEの公平性バイアスと学習者の認識を調査する。

主な方法:

• ライティング課題とアンケートを使用して、764人の多言語学習者（CEFR A2-C1）からデータを収集した。層化無作為抽出と二重のAI/人間の専門家による採点を用いた。相関、RMSE、Equalized Odds、SEMを含む統計分析を使用した。

主要な成果:

• AWEシステムは全体的な妥当性（r = 0.82）を示したが、有意な格差が明らかになった。中国語母語話者は、合意度（0.72）が低く、RMSE（中央値2.15）が高かった。公平性のバイアスは、低い語学力レベル（A2学習者）でより顕著であり、認識された公平性が学習者の満足度を媒介した。

結論:

• 公平性と認識を説明可能性の主要な次元として再考することは、AWEの理論的基盤を強化する。提案されたXAIフレームワークは、教育技術における透明性、公平性、社会的受容性を向上させるための実践的なアプローチを提供する。AIの公平性と学習者の認識に対処することは、デジタル教育変革におけるAWEの進歩に不可欠である。