MolDeBERTa: 分子表現学習のための物理化学的および構造情報に基づいた基盤モデル

科学分野:

• * 計算化学
• * 化学情報学
• * 機械学習

背景:

• * 基盤モデルは、材料および薬物の発見を加速するために不可欠です。
• * 既存の分子言語モデルは、物理化学的特性を無視した一般的な目的を使用しています。
• * 言語的および物理的な分子表現を橋渡しする構造情報に基づいたモデルの必要性があります。

研究 の 目的:

• * 構造情報に基づいた自己教師あり分子エンコーダーであるMolDeBERTaを導入します。
• * 分子特性を潜在空間に埋め込むための新しい事前学習目的を開発します。
• * 化学情報に基づいた表現学習のための教師なしエンコーダーベースの基盤モデルを進歩させます。

主な方法:

• * バイトレベルのバイトペアエンコーディング（BPE）トークン化戦略を利用しました。
• * PubChemの1億2300万のSMILES分子の大きなコーパスでMolDeBERTaを事前学習しました。
• * 分子特性と構造的類似性に偏るように、3つの新しい事前学習目的を導入しました。

主要な成果:

• * MolDeBERTaは、9つの下流のMoleculeNetベンチマークで既存のマスク言語モデルを上回りました。
• * 回帰誤差を最大16％削減しました。
• * 分類タスクで最大3.0 ROC-AUCポイントの改善を示しました。

結論:

• * MolDeBERTaは、教師なしの化学情報に基づいた表現学習における重要な進歩を表しています。
• * このモデルは、構造情報と特性情報を統合することにより、データ効率の良い学習を可能にします。
• * 公開されているコードとデータセットは、分子発見におけるさらなる研究を促進します。