大規模な言語モデルに基づく評価をプリプリント記事に組み込む
Rui Yang1, Jiayi Tong2, Haoyuan Wang3
1Centre for Quantitative Medicine, Duke-NUS Medical School, Singapore, 169857, Singapore.
AutoConfidenceScoreは プリプリント出版を予測し 体系的なレビューを助けるために開発されました プリプリントの品質を評価し,手作業を減らすことで,この自動化されたフレームワークは,エビデンスの合成を強化します.
科学分野:
- 医学研究
- 証拠の統合
- 科学的コミュニケーション
背景:
- 体系的なレビューには適時な証拠が必要ですが,プリプリントの品質は異なります.
- プリプリントされた記事は知識の拡散を加速しますが,ピアレビューは欠けています.
- プレプリントの品質を 体系的なレビューで評価するのは 難しいことです
研究 の 目的:
- プリプリント出版を予測するための自動化された枠組みを開発する.
- 体系的なレビューにおけるエビデンスの合成の効率と正確さを高める.
- プリプリント品質の評価の手作業の負担を軽減する.
主な方法:
- AutoConfidenceScore (自動信頼スコア評価) フレームワークを開発しました.
- 自然言語処理による自動データ抽出を活用した.
- 組み込みのセマンティックエンブレディングと大型言語モデル (LLM) による評価スコア.
- 予測のためにランダムな森林と生存治療モデルを使用した.
主要な成果:
- ランダム森林分類器はAUROC 0.747を達成しました.
- バイナリーアウトカムのAUROCは0.731でした.
- 生存治療モデルでは,公表までのリスクのコンコンダンスインデックスは0. 667でした.
結論:
- AutoConfidenceScoreは自動抽出と機能統合を通じてプリプリント予測を進めています
- セマンティックエンブレディングとLLM評価を組み合わせることで,予測性能が向上します.
- このフレームワークは,プリプリントを体系的なレビューに組み込み,リソースの利用を改善することができます.
さらに関連する動画
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
09:35A Protocol for Using Gene Set Enrichment Analysis to Identify the Appropriate Animal Model for Translational Research
Published on: August 16, 2017
関連する概念動画
Improving Translational Accuracy
Proofreading
Review and Preview
Percentiles are a type of fractile that partition data into...
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
pre-mRNA Processing
Once about 20-40 ribonucleotides have been joined together by RNA polymerase, a group of enzymes adds a “cap” to the 5’ end of the growing transcript. In this process, a 5’ phosphate is replaced by modified guanosine that has a methyl group attached to it (7-Methyl...
Genetic Screens
Forward genetic screens
Forward or “classical” genetic screens involve creating random mutations in an organism’s DNA using radiation, mutagens, or insertion of additional bases, which...
