AI生成記事を特定するAI検出ツールの有効性に関する探索的研究

科学分野:

• 口腔顎顔面外科学
• 科学出版における人工知能
• コンテンツの真正性

背景:

• 科学的信頼性は、正確なコンテンツの特定にかかっている。
• AIの台頭により、人間が書いたテキストとAIが生成したテキストを区別するためのツールが必要となっている。
• 口腔顎顔面外科学の研究は、真正性を維持する上で課題に直面している。

研究 の 目的:

• 8つの無料AI検出ツールの有効性を評価する。
• 人間が書いた記事とAIが生成した記事の検出率を比較する。
• 口腔顎顔面外科学の文脈におけるツールのユーザビリティと限界を評価する。

主な方法:

• 人間が書いた記事24件とAIが生成した記事12件（ChatGPT、DeepSeek、Gemini、Copilot）を分析した。
• 8つの無料AI検出ツールの精度を評価した。
• 検出の有効性（平均パーセンテージスコア）と原稿の長さとの相関関係を統計的に分析した。

主要な成果:

• QuillBotは人間が書いたテキストに対して完璧な検出を示し、その速度と使いやすさが注目された。
• Copyleaks（99.6％）とSapling（95.6％）は、AI生成テキストの検出において最も高い有効性を示した。
• 人間が書いたテキストとAIが生成したテキストのどちらにおいても、原稿の長さと検出の有効性の間には有意な相関関係は見られなかった。

結論:

• QuillBotは、人間が書いたコンテンツを特定するためのユーザーフレンドリーなツールである。
• QuillBotのようなツールとCopyleaksまたはSaplingを組み合わせることで、AI生成テキストの検出を強化できる。
• 口腔顎顔面外科学における科学的誠実性を維持するためには、効果的なAI検出が不可欠である。