科学論文からのオンデマンドコアアルゴリズム生成：論文からコードへ

科学分野:

• 計算生物学
• バイオインフォマティクス
• 機械学習

背景:

• 科学ソフトウェアの保守は、依存関係とバグのために高いコストがかかります。
• 公開された論文は正準レコードですが、コードに変換するのは困難です。
• 大規模言語モデル（LLM）は、出版物からの自動コード生成の可能性を提供します。

研究 の 目的:

• LLMを使用して公開された記事から科学コードを生成する実現可能性を評価すること。
• 確立された計算アルゴリズムを再現する上でのLLMのパフォーマンスを評価すること。
• コード生成と再現性のための現在の出版基準の制限を特定すること。

主な方法:

• 最先端のLLMの体系的な評価。
• 科学出版物のみを入力として使用して、LLMにコアアルゴリズムを実装するように指示しました。
• ランダムフォレスト、バッチ補正、遺伝子セット濃縮分析を含む多様なアルゴリズムにわたるベンチマーク。

主要な成果:

• LLMは多くのアルゴリズムでパッケージレベルの機能を正常に再現しました。
• LLM生成コードのパフォーマンスは、確立されたライブラリと区別がつかないことがよくありました。
• 不一致は主に、LLMの推論能力ではなく、不十分に指定された原稿の詳細に起因していました。

結論:

• 文献主導のコード生成は、適切に指定されたアルゴリズムで実現可能です。
• LLMは、継続的に維持されているソフトウェアライブラリへの依存を減らすことができます。
• 自動コード生成と再現性を完全にサポートするには、現在の出版基準を改善する必要があります。