人工知能は科学を書けるのか? 人工知能による科学著作と人工知能による科学著作の比較分析

科学分野:

• 医学書
• 研究における人工知能

背景:

• ChatGPTのような大型言語モデル (LLM) は,学術的な執筆に希望を示しています.
• 科学的手稿におけるAIの品質,信頼性,解釈能力については懸念がある.

研究 の 目的:

• 人工知能が作成した科学論文の 質を比較する
• 学術出版におけるAIの強みと限界を評価する.

主な方法:

• 2つのシミュレーション分析マニュスクリプトが作成されました. 1つは人間によるもので,もう1つはChatGPT-4oによって作成されました.
• 3人の盲目の審査員 (人間2人,人工知能1人) は,原稿の明確性,正確性,深さ,一貫性について評価した.
• 審査員 は 手稿 を 評価 し,作者 を 特定 し まし た.

主要な成果:

• AIの原稿は明晰度 (9.0対7.2) が高く,技術的精度 (6.3対9.3) と深さ (5.5対7.5) は低い.
• AIの批判的分析と文脈的解釈の欠如に注目した.
• 執筆 者 は 正確 に 特定 さ れ まし た.審査 者 たち は 原稿 と 調和 し た 手稿 を 支持 し まし た.

結論:

• AIは明晰さを高めますが 批判的推論と文脈で苦労します
• 科学的な正確性と分析には 人間の著作と監督が不可欠です
• 人工知能は 人間の科学的な文章を 補完するツールとして 役立つのではありません