学習分析に関する機械学習支援抽象スクリーニング:ステップ・バイ・ステップのチュートリアル
Zhihong Xu1, Shuai Ma2, Xiting Zhuang3
1Department of Agricultural Leadership, Education, and Communications, Texas A&M University, College Station, USA. xuzhihong@tamu.edu.
ASReviewやChatGPTのような機械学習 (ML) ツールは,体系的なレビューの抽象的なスクリーニングを大幅に改善することができます. このチュートリアルでは,研究者がこれらのテクノロジーを利用して,エビデンス合成の効率と精度を高めるためのガイドを提供します.
科学分野:
- ビビロメトリクス (Bibliometrics) とは
- 情報科学 情報科学
- コンピュータサイエンス コンピュータサイエンス
背景:
- システマティック・レビューは,エビデンス・シンセシスにとって不可欠ですが,手動抽象的なスクリーニングでは時間がかかり,誤りやすい課題に直面しています.
- 機械学習 (ML) は,体系的なレビューにおける抽象的なスクリーニングプロセスを自動化し,精製するための有望な道を示しています.
- 科学文献の増大は,エビデンス・シンセシスの効率的で正確な方法を必要とします.
研究 の 目的:
- 2つのMLツール,ASReviewとChatGPTの実装のための実践的な,ステップ・バイ・ステップのチュートリアルを提供し,体系的なレビューにおける抽象的なスクリーニングを合理化します.
- アクティブ・ラーニング (ASReview) と大型言語モデル (ChatGPT) の適用を実証し,エビデンス・シンセシスの効率と正確性を向上させる.
- 感度,特異性,正確性などの重要なメトリックを使用してASReviewとChatGPTのパフォーマンスを評価します.
主な方法:
- 高等教育における学習分析 (LA) に焦点を当てたケーススタディが実施例として使われました.
- アクティブ・ラーニングベースのMLフレームワークであるASReviewのデータ準備とセットアップに関する詳細な指示が提供されました.
- 一貫したスクリーニングのためにPython Google Colab環境内のChatGPT (GPT-4) のプロンプトとパラメータの最適化に関するガイドラインが提供されました.
主要な成果:
- ASReviewは,手作業の負荷を軽減し,特に大規模なデータセットのリコール率を高く維持する効果を示しました.
- 最適化されたプロンプトを備えたChatGPTは,スクリーニングの精度と一貫性を向上させる可能性を示した.
- 各ツールの固有の強みと限界を強調するために,パフォーマンスメトリック (感度,特異性,精度) が提示されました.
結論:
- ASReviewとChatGPTは,体系的なレビューにおける抽象的なスクリーニングの効率と精度を向上させるために,実行可能なMLソリューションを提供しています.
- 研究者は,これらのツールを活用して,エビデンス合成の複雑さを管理し,厳格性と透明性を確保することができます.
- このチュートリアルでは,研究者がMLを体系的なレビューのワークフローに統合し,エビデンス合成プロセスを最適化できるようにします.
さらに関連する動画
10:43Eye-tracking Technology and Data-mining Techniques used for a Behavioral Analysis of Adults engaged in Learning Processes
Published on: June 10, 2021
13:44Project-Based Learning Guidelines for Health Sciences Students: An Analysis with Data Mining and Qualitative Techniques
Published on: December 9, 2022
関連する概念動画
Regression Analysis
In regression analysis, a regression equation is determined based on the line of best fit– a line that best fits the data points plotted in a graph. This line is also called the regression line. The algebraic equation for the regression line is called the regression equation. It is represented as:
Machines: Problem Solving II
Statistical Analysis: Overview
One of the most commonly used statistical quantifiers is the mean, which is the ratio between the sum of the numerical values of all results and the...
Mechanistic Models: Compartment Models in Algorithms for Numerical Problem Solving
In individual population analyses, different algorithms are employed, such as Cauchy's method, which uses a...
Statistical Software for Data Analysis and Clinical Trials
Microsoft Excel: Regression Analysis
To perform regression...
