ChatGPTの応答の品質と読みやすさを評価する
Saeed Saeedi1, Mehdi Bakhtiar1
1Speech and Neuromodulation Laboratory, Unit of Human Communication, Learning and Development, Faculty of Education, The University of Hong Kong, Hong Kong Special Administrative Region of China.
Journal of fluency disorders
|August 23, 2025
まとめ
チャットGPTは 吃音の質問に有望な答えを提供し,スピーチ・ランゲージ・パソロジスト (SLP) は 人工知能の答えを人間と間違える. AIは一般的に正確で安全ですが 専門的なSLPのケアを補足すべきで 置き換えるべきではありません
科学分野:
- 言語病理 言語病理
- 医療における人工知能
背景:
- 吃音に関するよくある質問 (FAQ) は一般的です.
- ChatGPT (Generative Pre-trained Transformer) は,アクセシビリティが向上しているAI言語モデルです.
研究 の 目的:
- ChatGPTの理解力と,うなずきに関するFAQの回答の正確さを評価する.
- 人工知能によって生成された反応の認識された人間性と専門的な整合性を評価する.
主な方法:
- GPT-4o miniに 共通する 11の疑問が投げかけられました
- 5人の認定スピーチ・ランゲージ・パソロジスト (SLP) のパネルは,AIの応答の正確性,潜在的害,およびコンセンサス・アラインメントを評価した.
- 読みやすさ指標 (FRES,GFSL,D-CS) と言語特性を分析した.
- スピアーマンのランク相関は,SLPの評価と読みやすさの関係を調べました.
主要な成果:
- AIの回答の45.5%はSLPによって人間によって書かれたと誤って識別されました.
- 回答の83. 6%は正確で,63. 6%は無害で,38. 2%は軽度から中度まで有害でした.
- 回答の62%がSLPコミュニティのコンセンサスと一致しました.
- 読みやすさのスコアは,大学から大学院レベルの読者に適したテキストを示しています.
- SLPの判断と読解性の特徴の間に重要な相関関係が見つかりました.
結論:
- ChatGPTは,よくある質問に正確かつ適切に対応する大きな可能性を示しています.
- 人工知能によって生成されたコンテンツは,SLPによって非常に人間に似ています.
- 人工知能のツールは教育目的で,専門的な言語病理診断と治療の代わりとして使用されるべきです.
