皮膚科領域における臨床試験提案書作成のためのAI大規模言語モデルの活用：機器検証研究

科学分野:

• ヘルスケアにおける人工知能
• 臨床研究オペレーション
• 自然言語処理

背景:

• 大規模言語モデル（LLM）は、臨床試験デザインにおいてますます採用されています。
• 研究提案書の開発におけるそれらの応用は、依然として十分に活用されていません。
• この研究は、研究提案書の作成と評価におけるLLMの有効性を評価します。

研究 の 目的:

• オープンアクセス大規模言語モデル（LLM）と人間の専門家を研究提案書の作成とレビューにおいて比較すること。
• LLMによって生成された研究提案書の精度と網羅性を評価すること。

主な方法:

• 10のLLMに研究提案書の作成を依頼しました。
• 6人の医師とLLM自身が、11の盲検化された研究提案書を評価しました。
• 評価は、提案書の精度と網羅性に焦点を当てました。

主要な成果:

• 人間の採点者は、ChatGPT-o1を最も正確で、Llama 3.1を最も不正確であると特定しました。LLMの採点者は、ChatGPT-o1とDeepSeek R1を最も正確であると評価しました。
• LLMの採点者と人間の採点者の両方によって、ChatGPT-o1とLlama 3.1はそれぞれ最も包括的で最も包括的でないと評価されました。
• LLMは一般的に提案書の質を過大評価し、人間よりも平均して1.9ポイント高く採点しました。

結論:

• ChatGPTの有料版は、研究提案書のタスクにおいて、現在のLLMの中で最高の品質と汎用性を提供します。
• LLMは、研究開発における効率と生産性を向上させる貴重なアシスタントとして機能することができます。
• LLMは経験豊富な研究者の微妙な判断を完全に置き換えることはできないため、専門家による人間のインプットは依然として不可欠です。