システマティックレビュー作成における自動引用検索：シミュレーション研究

科学分野:

• 情報科学
• 書誌学
• システマティックレビュー方法論

背景:

• OpenAlexやSemantic Scholarのような書誌アグリゲーターは、システマティックレビューにおける引用検索の自動化の可能性を提供する。
• 自動化された方法は、システマティックレビューの作成効率を高める可能性がある。

研究 の 目的:

• 標準的な戦略に対する自動引用検索のパフォーマンスを評価すること。
• 自動引用検索のパフォーマンスに影響を与える要因を特定すること。

主な方法:

• OpenAlexおよびSemantic Scholarで27件のシステマティックレビューに対して自動引用検索をシミュレートした。
• パフォーマンス指標には、再現率、精度、F1-F3スコアが含まれ、元のレビュー検索戦略と比較された。
• 分析された要因には、研究分野、記事数、シード記事の特性、APIの選択が含まれる。

主要な成果:

• 自動引用検索は、標準的な戦略と比較して、精度（p < 0.05）およびF1スコア（p < 0.05）で優れていた。
• 再現率（p < 0.05）およびF3スコア（p < 0.05）は、標準的な戦略よりも優れてはいなかった。
• パフォーマンスは研究分野によって異なり、社会政策よりも環境管理の方がパフォーマンスが高かった。

結論:

• 自動引用検索は、再現率よりも精度が優先される場合に補助的な戦略として使用するのが最適である。
• その優れた精度とF1スコアは、特定のシステマティックレビューの文脈での有用性を示唆している。
• 再現率とF3スコアの低さは、包括的な検索が最重要視される場合の限界を示している。