編集者による書面によるフィードバックがレビューの質に与える影響: 2つのランダム化試験

科学分野:

• 医療教育 医療教育について
• 学術出版学術出版について
• ピアレビューはピアレビューです.

背景:

• ピアレビューの質の向上は,学術出版における認識された必要性である.
• しかし,審査員のパフォーマンスを向上させるための効果的な方法は,依然としてほとんど知られていない.
• この研究では,書面によるフィードバックが,その後の審査員のパフォーマンスに与える影響を調査した.

研究 の 目的:

• ピアレビュー担当者に書面によるフィードバックを提供することで,将来のレビューの質に影響があるかどうかを判断する.
• ピアレビュー担当者のための教育ツールとして,編集者のフィードバックの有効性を評価する.

主な方法:

• アナルズ・オブ・エマージェンシー・メディシンのピアレビューによる2つの研究が行われました.
• レビュー者は,標準的なレビュー条件 (コントロール) または追加の書面によるフィードバック (介入) を受けるようにランダムに割り当てられました.
• フィードバックには,他のレビュー者のスコア付けされていないレビューと,さまざまなレベルの詳細とサポートを持つ編集者の決定書が含まれていました.

主要な成果:

• 研究1 (スコアが低いレビュー者) では,フィードバックは改善されず,レビューの質に悪影響を及ぼす傾向を示した.
• 試験2 (平均的な審査員) では,より広範で支持的なフィードバックも,審査員のパフォーマンスの改善には至らなかった.
• 182件のレビュー (第1研究) と324件のレビュー (第2研究) の編集者による品質評価 (1-5) を分析したところ,介入グループにおいて有意なポジティブな変化は見られなかった.

結論:

• 編集者からの簡単な書面によるフィードバックは,ピアレビュー担当者のパフォーマンスを向上させるのに有効な方法とは思えません.
• わずかなフィードバックも,広範なフィードバックも,いずれの研究でも,その後のレビューの質を大幅に向上させませんでした.
• ピアレビュープロセスの質を改善するために,代替戦略が必要になる可能性があります.