神経外科の研究論文のピアレビューにおける人工知能の活用

科学分野:

• 神経外科
• 人工知能
• 科学出版

背景:

• 伝統的なピアレビューは時間がかかり 批判的な研究の普及を遅らせます
• 人工知能 (AI) は,原稿のレビューを最適化するための潜在的な解決策を提供します.
• 神経外科のプリプリントは,AIの予測能力を評価するために分析されます.

研究 の 目的:

• 現在のAIモデル (ChatGPT 4o,Gemini,Copilot) の神経外科の手稿の受け入れまたは拒絶を予測する効果を評価する.
• 雑誌のメトリクスを比較するために,受け入れられたと推定され,受け入れられていないプリプリント.
• ピアレビューの結果を予測するAIの精度を決定する.

主な方法:

• プリプリントサーバーからの51の神経外科プリント (頭蓋骨と脊椎) の分析.
• 公開されたプリプリントと12ヶ月以上サーバーに残されたプリントを比較する.
• AIモデルは,出版前の文献に基づいて受け入れ/拒絶を予測するよう促された.

主要な成果:

• AIモデルは40%から66.67%の精度で著しく低いパフォーマンスを示した.
• 雑誌の指標 (インパクト・ファクター,引用点数) に関して,承認または拒否と予測されたプリプリントの間で有意な差は見つかりませんでした.
• AIの予測にかかわらず 受け入れられたプリプリントは 雑誌の指標が高くなりました

結論:

• 現在のAIモデルは,神経外科の手稿のピアレビュー結果を予測する精度が限られています.
• 将来のAI開発は,ジャーナルの協力と著者の同意により,予測の精度を高めることができます.
• AIは,精度とデータアクセスが向上すれば,ピアレビュープロセスを簡素化する可能性を秘めています.