データパイプラインの品質：ヘルスケアにおけるデータ駆動型アルゴリズムおよび人工知能の品質評価ツールの開発と検証

科学分野:

• ヘルスケア技術評価
• 医療情報学
• アルゴリズム検証

背景:

• データ駆動型アルゴリズムはヘルスケアでますます使用されています。
• これらのアルゴリズム、特にそのデータパイプラインの標準化された品質評価ツールが不足しています。
• 既存のツールは、ヘルスケアにおけるAIと観察研究のニュアンスを適切に扱っていません。

研究 の 目的:

• データ駆動型ヘルスケアアルゴリズムの標準化された品質評価ツールを開発および検証すること。
• 評価ツールの焦点をこれらのアルゴリズムの重要なデータパイプラインに当てること。
• アルゴリズム開発における信頼できる評価の必要性に対処すること。

主な方法:

• アルゴリズムクリティカル評価および堅牢な証拠のためのデータ評価ツール（DATA-CARE）を開発しました。
• DATA-CAREは、Quality In Prognosis Studiesフレームワークに基づいており、10の既存ツールをレビューしました。
• このツールは、人口、データ、アルゴリズム、結果、および報告の透明性の5つのドメインを評価し、合計75点満点です。
• 検証には、小児集中治療室のアルゴリズムの系統的レビューが含まれ、2人の独立したレビュアーとICC分析が実施されました。

主要な成果:

• DATA-CAREは、高い評価者間一致率（93.5％）とICC 0.98を示しました。
• 検証では31の研究がレビューされ、ほとんどが低い（32.3％）または中程度（41.9％）の品質を示しました。
• 研究の25.8％のみが高品質と評価されました。

結論:

• 低から中程度の品質の研究の蔓延は、臨床実践へのデータ駆動型アルゴリズムの実装における重大な障壁を浮き彫りにしています。
• 主な問題には、不十分なデータキャプチャ/処理、不十分な検証、および透明性のない報告が含まれます。
• DATA-CAREは、アルゴリズムを評価するための標準化された信頼性の高い方法を提供し、再現性のある研究における重要なギャップを埋めます。