チャットGPTは科学論文の文章を認識できるのか?

科学分野:

• 科学的執筆における人工知能
• アカデミック・パブリッシングの誠実さ

背景:

• 人工知能の普及は,人工知能が作成した科学コンテンツと区別する上で課題を提示しています.
• ChatGPT-4.0のような高度なAIモデルの自己識別能力の評価は,学術的な基準を維持するために不可欠です.

研究 の 目的:

• 人工知能で作成された科学論文と人工知能で作成された科学論文を区別するチャットGPT-4.0の精度を評価する.
• ChatGPT-4.0が科学的な文脈で自分の出力を信頼して認識できるかどうかを判断する.

主な方法:

• 2000年の研究要約100件が 影響力のある内科雑誌から選出された.
• ChatGPT-4.0は,これらの記事の全文から新しい要約を生成しました.
• ChatGPT-4.0は,オリジナルとAIで生成された要約の両方を2回評価し, 0から10のスケールで著者の可能性を評価しました.

主要な成果:

• 2つの評価ラウンドで高い誤分類率が認められた (49%と47.5%).
• 不確実性がないことを示す中性スコア (5) は,抽象論文には与えられませんでした.
• 統計分析により,スコア分布の重複と不十分な一致が明らかになった (コーエンのカッパ=0.33,加重カッパ=0.24).

結論:

• ChatGPT-4.0は,人間とAIによって生成された科学的概要を確実に区別できないことを示しています.
• 研究結果は,著者の確認と学術出版の透明性を確保するための高度な外部ツールの開発の必要性を強調しています.