関連する実験動画
Updated: Sep 10, 2025

A Tablet-Based Curriculum-Based Measurement Protocol for Kindergarten Writing
Published on: February 7, 2025
Gap-Kalamazoo Communication Skills Assessment Formを使用してコミュニケーションスキルを評価するためのGPTベースの評価器の開発と検証
Yu-Jeng Ju1, Yi-Ching Wang1, Shih-Chieh Lee1,2
1School of Occupational Therapy, College of Medicine, National Taiwan University, Taipei, Taiwan.
コミュニケーションスキルを評価するために,ジェネラティブ・プリトレーニング・トランスフォーマー (GPT) 評価器が開発されました. リスクが低い状況での合計スコアのための補足ツールとして潜在性を示していますが,ドメインレベルでの性能は限られています.
科学分野:
- 自然言語処理
- 医療における人工知能
- コミュニケーションスキルの評価
背景:
- コミュニケーションスキルの正確な評価は,医療において極めて重要です.
- 伝統的な評価方法は時間のかかるもので 主観的であることもあります
- 自動化されたツールは 効率的で一貫した評価の可能性を秘めています
研究 の 目的:
- コミュニケーションスキルの評価のための生成型予備訓練トランスフォーマー (GPT) ベースの評価器を開発し,評価する.
- 人間による評価と比較してGPT評価者の相互信頼性と同時有効性を検証する.
- Gap-Kalamazoo Communication Skills Assessment Form (GKCSAF) を使用してGPT評価器の有用性を評価する.
主な方法:
- GKCSAFフレームワークを使用してGPTベースの評価器を開発しました.
- ヒトの評価者によって評価された 80 件のセラピストと患者の相互作用を評価した.
- 平均絶対誤差 (MAE) とクラス内相関係数 (ICC) を用いて評価者間の信頼性を分析した.
- GPTのスコアと人間の平均スコアを比較して評価された同時有効性.
主要な成果:
- GPTの評価者は,総スコア (12. 2% - 21. 0%) で許容可能なMAE%を示したが,ヒトの評価では低いICC (0. 00- 0. 35) を示した.
- ドメインレベルでの分析では,4つのドメインのみで許容可能なMAE%が示され,すべての9つのドメインでの合意は乏しい (加重 κ ≤ 0.38).
- 同時に有効性も認められたMAE%ですが,合計レベルとドメインレベルの両方で低いICC値を示しました.
結論:
- GPT評価器は,低リスクのコミュニケーションスキルの評価における総合スコア評価のための補足ツールとして有望である.
- 現在,ドメインレベルでのパフォーマンスは限られており,詳細な評価やリスクの高い評価には注意が必要です.
- 総合的なコミュニケーションスキルの分析のためのGPT評価者の正確性と信頼性を向上させるためには,さらなる精細化が必要である.
さらに関連する動画
09:16Use of a Video Scoring Anchor for Rapid Serial Assessment of Social Communication in Toddlers
Published on: March 14, 2018
09:00Author Spotlight: Validation of SICOLE-R for Assessing Cognitive and Reading Skills in Spanish-Speaking Children and Its Role in Personalized Education
Published on: August 16, 2024
関連する概念動画
Data Validation
Nursing assessment guides are generally based on holistic models rather than medical...
Self-Report Tests of Personality
Reliability and Validity
Barriers to Effective Communication II
Cultural barriers:
Differences in values, beliefs, religion, knowledge, and tradition can significantly impact communication. Awareness of nonverbal cues is critical, especially when conversing with a patient from a different culture. What appears appropriate in one culture may be inappropriate in another.
Semantic barriers:
As a result of their tendency to use...