大規模言語モデルを用いた心血管イベント裁定の自動化

科学分野:

• 人工知能
• 臨床試験
• 医療情報学

背景:

• 臨床試験における心血管イベント裁定は重要ですが、従来は手動で行われており、遅延、不整合、高コストにつながっていました。
• イベント裁定のための臨床文書の手動レビューは時間がかかり、人的エラーが発生しやすいです。

研究 の 目的:

• 臨床試験における心血管死の裁定を自動化するために、大規模言語モデル（LLM）を用いた2段階フレームワークを開発・評価すること。
• 心血管イベント裁定の効率性、一貫性、透明性を向上させること。

主な方法:

• 自動裁定のための大規模言語モデル（LLM）を採用した2段階フレームワーク。
• ステージ1：少数の例を用いたLLMが、非構造化臨床文書から構造化エビデンス（イベント、否定、日付、スパン）を抽出します。
• ステージ2：Tree-of-Thoughts裁定者が、臨床エンドポイント委員会（CEC）のガイドラインを使用して分類と推論生成を行います。

主要な成果:

• LLMベースのフレームワークは、臨床文書から構造化されたエビデンスを抽出する際に高い精度（0.96）とF1スコア（0.82）を達成しました。
• 裁定段階では、GPT-4 Tree-of-Thoughtsを使用した精度は0.68であり、ベースラインのサマライザーと裁定者を組み合わせたアプローチを上回りました。
• CLEARTスコア（0.67）は、推論の質を定量化し、時間的推論と関連性が改善すべき領域であると特定しました。

結論:

• LLMを用いた心血管死の自動裁定は、臨床試験における効率性を向上させ、ばらつきを減らす有望なソリューションを提供します。
• 提案されたフレームワークは、監査可能な推論を提供し、裁定プロセスにおける透明性を高めます。
• 自動裁定システムにおける時間的推論と関連性の最適化には、さらなる改善が必要です。