大規模言語モデルを用いた心血管イベント裁定の自動化 | JoVE Visualize

科学分野:

人工知能
臨床試験
医療情報学

背景:

臨床試験における心血管イベント裁定は重要ですが、従来は手動で行われており、遅延、不整合、高コストにつながっていました。
イベント裁定のための臨床文書の手動レビューは時間がかかり、人的エラーが発生しやすいです。

研究の目的:

臨床試験における心血管死の裁定を自動化するために、大規模言語モデル（LLM）を用いた2段階フレームワークを開発・評価すること。
心血管イベント裁定の効率性、一貫性、透明性を向上させること。

主な方法:

自動裁定のための大規模言語モデル（LLM）を採用した2段階フレームワーク。
ステージ1：少数の例を用いたLLMが、非構造化臨床文書から構造化エビデンス（イベント、否定、日付、スパン）を抽出します。
ステージ2：Tree-of-Thoughts裁定者が、臨床エンドポイント委員会（CEC）のガイドラインを使用して分類と推論生成を行います。

主要な成果:

LLMベースのフレームワークは、臨床文書から構造化されたエビデンスを抽出する際に高い精度（0.96）とF1スコア（0.82）を達成しました。
裁定段階では、GPT-4 Tree-of-Thoughtsを使用した精度は0.68であり、ベースラインのサマライザーと裁定者を組み合わせたアプローチを上回りました。
CLEARTスコア（0.67）は、推論の質を定量化し、時間的推論と関連性が改善すべき領域であると特定しました。

結論:

LLMを用いた心血管死の自動裁定は、臨床試験における効率性を向上させ、ばらつきを減らす有望なソリューションを提供します。
提案されたフレームワークは、監査可能な推論を提供し、裁定プロセスにおける透明性を高めます。
自動裁定システムにおける時間的推論と関連性の最適化には、さらなる改善が必要です。