より信頼性の高いQSARに向けて：データセット分割に関する体系的な考察

科学分野:

• 定量的構造活性相関（QSAR）モデリング
• 化学情報学
• 計算化学

背景:

• QSARモデルの開発は急速に増加しています。
• 特にデータ分割戦略に関して、QSARモデル評価の厳密さについての懸念があります。
• モデル一般化可能性に対するデータパーティショニングの影響を体系的に調査する必要があります。

研究 の 目的:

• QSARモデルの一般化可能性に対するランダム分割（RS）、類似性ベース分割（SS）、および乱数シードのばらつきの影響を体系的に評価すること。
• これらの影響を、データが限られているシナリオ（化学スクリーニング）とデータが豊富なシナリオ（標準モデリング）で評価すること。
• 内部パフォーマンスを最適化する合理的な分割が、普遍的にモデルパフォーマンスを向上させるという仮定に異議を唱えること。

主な方法:

• さまざまなサイズの5つのデータセットを利用しました。
• ランダム分割（RS）と類似性ベース分割（SS）を比較しました。
• モデルパフォーマンスに対する乱数シードのばらつきの影響を調査しました。

主要な成果:

• データ分割方法と乱数シードの選択は、内部テストのパフォーマンスに大きく影響し、真の予測能力を誤って表現する可能性があります。
• 類似性ベース分割（SS）は内部パフォーマンスを向上させる可能性がありますが、必ずしも外部一般化可能性を向上させるわけではありません。
• 低サンプリング率では、SSは内部および外部テストの両方でランダム分割（RS）よりもパフォーマンスが低下する可能性があります。
• 最も小さいデータセットの内部テストでは、ランダムシード間でR二乗値の変動が大きいことが観察されましたが、固定された外部データセットでは変動が小さいことが対照的でした。
• 適用範囲（AD）フィルタリングは、外部データセットの変動を一貫して低減しませんでした。

結論:

• テストセットの構築は、QSARモデルの実際のアプリケーションシナリオと一致する必要があります。
• 研究者は、単一または選択された乱数シードや不適切な合理的分割方法を避けるべきです。
• 透明でアプリケーションに合わせた分割プロトコルとAD方法により、誇張された可能性のある内部メトリックよりも真の外部一般化可能性を優先することが不可欠です。