クロスデータセット一般化分析のためのコミュニティ薬物応答予測モデルのベンチマーキング：データセット、モデル、ツール、およびメトリクス

科学分野:

• 計算生物学
• 薬理ゲノミクス
• 創薬における機械学習

背景:

• 深層学習および機械学習モデルは、薬物応答予測（DRP）において可能性を示しています。
• しかし、異なるデータセットをまたいだ一般化能力は十分に確立されておらず、実際の適用性を制限しています。
• 現在の評価には標準化されたアプローチが欠けており、信頼できるモデル比較を妨げています。

研究 の 目的:

• DRPモデルにおけるクロスデータセット一般化を評価するための標準化されたベンチマーキングフレームワークを導入すること。
• 絶対的および相対的なモデルパフォーマンスをデータセット間で評価するための新しい評価メトリクスを開発すること。
• 堅牢なDRPモデルの開発と比較のための基盤を提供すること。

主な方法:

• 5つの公開されている薬物スクリーニングデータセットと7つの標準化されたDRPモデルを利用しました。
• 体系的かつクロスデータセット評価のためのスケーラブルなワークフローを開発しました。
• 絶対的パフォーマンスと未知のデータに対するパフォーマンス低下を定量化するメトリクスを導入しました。

主要な成果:

• DRPモデルをトレーニングデータとは異なるデータセットでテストした場合、パフォーマンスの大幅な低下が観察されました。
• 単一のモデルがすべてのクロスデータセット評価で一貫して他のモデルを上回ることはありませんでした。
• CTRPv2データセットは、DRPモデルのトレーニングに最も効果的であり、一般化の向上につながりました。

結論:

• DRPモデルにとって、クロスデータセット一般化の厳密な評価は非常に重要です。
• 信頼できる評価とDRPモデルの比較には、標準化されたフレームワークが不可欠です。
• 堅牢な実際の適用性を持つDRPモデルを作成するには、さらなる開発が必要です。