ChatGPTとClaudeは,産科における体系的なレビューのための研究選択において,どの程度良い結果を出しているのでしょうか
Suppachai Insuk1, Kansak Boonpattharatthiti2,3, Chimbun Booncharoen1
1Faculty of Pharmaceutical Sciences, Naresuan University, Phitsanulok, Thailand.
ChatGPTやClaudeのような生成型AIモデルは 体系的なレビュー試験の選択において有望な結果を示しています 人間の研究者は初期スクリーニングでわずかに良い結果を出しましたが,AIは特に全文レビューで,人間のレベルに近いパフォーマンスを示しました.
科学分野:
- 医療情報学
- 医療における人工知能
- 証拠 に 基づく 医学
背景:
- 系統的なレビューの効率性のために,生成AIはますます探索されています.
- AIのスクリーニング性能に関する現在の証拠は不確実です.
- 異なるAIモデル間の直接比較は限られている.
研究 の 目的:
- 産科におけるChatGPT-4oとClaude 3.5 Sonnetの体系的なレビュー研究選択を評価する.
- 人工知能の性能を 人間の研究者と比較する
主な方法:
- 体系的な文献検索 (PubMed,EMBASE,Cochrane CENTRAL,EBSCO オープン・ディセータ) を行っている.
- タイトル/抽象スクリーニングは,プロンプトベースのアプローチを使用して,AIとジュニア研究者を経験豊富な研究者と比較します.
- AIの短時間と長時間のプロンプト戦略を用いた全文レビュー
- 性能指標:精度,感度,精度,F1スコア,ネガティブ予測値 (NPV)
主要な成果:
- タイトル/抽象スクリーニング:ヒト研究者は最も高い精度 (0.9593) とF1スコア (0.3853) を有しており,その次はクロードとChatGPTでした. 全員が高いNPVを示した.
- フルテキストスクリーニング:短いプロンプトでChatGPTは最高精度 (0.904),F1スコア (0.90) およびNPV (1.00) を達成し,クロードとヒト研究者を上回った.
結論:
- 系統的なレビュー研究選択において,生成型AIモデルは人間のレベルに近いパフォーマンスを示しています.
- AIは,特に全文レビュー段階では,大きな可能性を秘めています.
- 様々な分野におけるエビデンス・シンセシスにおける AI 統合については,さらなる研究が推奨されています.
さらに関連する動画
09:03Semiconductor Sequencing for Preimplantation Genetic Testing for Aneuploidy
Published on: August 25, 2019
09:51Model Surgical Training: Skills Acquisition in Fetoscopic Laser Photocoagulation of Monochorionic Diamniotic Twin Placenta Using Realistic Simulators
Published on: March 21, 2018
関連する概念動画
Clinical Trials: Overview
Study Design in Statistics
Does aspirin reduce the risk of heart attacks? Is one brand of fertilizer more effective at growing roses than another? Is fatigue as dangerous to a driver as the influence of alcohol? Questions like these are answered using randomized experiments with proper...
Comparing the Survival Analysis of Two or More Groups
Types of Biopharmaceutical Studies: Controlled and Non-Controlled Approaches
Non-controlled studies, commonly employed for initial exploration, lack a control group, rendering them susceptible to biases and external influences. In contrast,...
Clinical Trials
There are four phases in a clinical trial. A phase one...
Gonadal and Placental Hormones
In males, testosterone is the primary gonadal androgen. It plays a central role in the maturation of male reproductive organs — the penis and testes. Additionally, testosterone is instrumental in the development of secondary sexual characteristics — a deep voice as well as facial and pubic hair...
