臨床的意思決定のタスクのための大規模な言語モデルベースのエージェントシステムのベンチマーキング
Yunsong Liu1,2, Zunamys I Carrero2, Xiaofeng Jiang2,3
1Department of Radiation Oncology, National Cancer Center/National Clinical Research Center for Cancer/Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College, Beijing, China.
NPJ digital medicine
|February 18, 2026
まとめ
代理人型人工知能 (AI) システムは,高度なツールにもかかわらず,医療におけるパフォーマンスの向上が限られていることを示しています. 現在のシステムは,高いコンピューティングコストで控えめな利点を提供し,改善されたAIソリューションの必要性を強調しています.
科学分野:
- 人工知能 (AI) とは,人工知能 (AI) のことです.
- 医療情報工学 医療情報工学
- コンピューティング医学は,コンピューティング医療です.
背景:
- 自律的な推論とツール使用が可能なエージェント性AIシステムは,ヘルスケアアプリケーションの潜在性を示しています.
- 医療におけるこれらの高度なAIシステムの体系的な現実世界のパフォーマンス評価は,現在限られている.
- 既存のベンチマークは,臨床意思決定とツール統合の複雑さを十分に捉えていません.
研究 の 目的:
- 医療環境における2つのエージェント性AIシステムの実世界のパフォーマンスを体系的にベンチマークする.
- 診断,QA,および複雑な検査を含む多様な医療課題におけるエージェント性AIの有効性を評価する.
- 医療AIエージェントにおけるパフォーマンスの向上,資源利用,および幻覚率のトレードオフを評価する.
主な方法:
- AgentClinic,MedAgentsBench,Humanity's Last Exam (HLE) のベンチマークに基づいて,OpenManus (Llama-4ベースの) とManus (独自のマルチステップアーキテクチャ) を評価しました.
- テキストベースおよびマルチモダルの医療質問応答および診断シミュレーションでのパフォーマンスを評価しました.
- 定量化された精度,トークンの使用,遅延,および幻覚の割合,イン-エージェントの保護措置.
主要な成果:
- エージェント性AIシステムは,ベースラインLLMに比べて控えめな精度向上をもたらし,トークンの使用と遅延が大幅に増加しました.
- AgentClinic MedQAの精度は60.3%,MedAgentsBenchの精度は30.3%,HLEの精度は8.6%でした.
- マルチモダルの精度は低い (HLEでは15.5%,AgentClinic NEJMでは29.2%) であり,予防措置にもかかわらず幻覚は持続していた.
結論:
- 現在のエージェント性AI設計は,かなりのコンピューティングとワークフローコストに比べて,医療におけるパフォーマンスの利点が限られている.
- 医学的な応用のために,より正確で,効率的で,臨床的に有効な薬剤システムの開発が不可欠である.
- 実践的なヘルスケア展開のために,エージェント性AIアーキテクチャを最適化するためにさらなる研究が必要です.
関連する概念動画
Methods of Documentation VI: Case Management Model
966
The case management model is a multidisciplinary approach that involves healthcare professionals from diverse disciplines, such as physicians, nurses, therapists, social workers, and pharmacists, working collaboratively to address the various needs of patients. Each healthcare professional brings unique expertise and perspectives, contributing to a more comprehensive understanding of the patient's condition and tailoring treatment plans accordingly.
For example, a patient with a chronic...
For example, a patient with a chronic...
966
SBAR II: Application of SBAR
6.2K
SBAR is an effective communication tool used by healthcare professionals to communicate patient information accurately. SBAR stands for Situation, Background, Assessment, and Recommendation. For a better understanding, an example is given below.
SBAR Report from a Nurse to a Health Care Provider
S: "Hello, Dr. Smith. This is Jane, RN, from the Med Surg unit. I am calling to tell you about Ms. White in Room 210, who is experiencing increased pain and redness at her incision site. Her recent...
SBAR Report from a Nurse to a Health Care Provider
S: "Hello, Dr. Smith. This is Jane, RN, from the Med Surg unit. I am calling to tell you about Ms. White in Room 210, who is experiencing increased pain and redness at her incision site. Her recent...
6.2K
Decision Making: Traditional Method
5.6K
The process of hypothesis testing based on the traditional method includes calculating the critical value, testing the value of the test statistic using the sample data, and interpreting these values.
First, a specific claim about the population parameter is decided based on the research question and is stated in a simple form. Further, an opposing statement to this claim is also stated. These statements can act as null and alternative hypotheses, out of which a null hypothesis would be a...
First, a specific claim about the population parameter is decided based on the research question and is stated in a simple form. Further, an opposing statement to this claim is also stated. These statements can act as null and alternative hypotheses, out of which a null hypothesis would be a...
5.6K
Pharmacokinetic Models: Comparison and Selection Criterion
392
Physiological and compartmental models are valuable tools used in studying biological systems. These models rely on differential equations to maintain mass balance within the system, ensuring an accurate representation of the dynamic processes at play.
Physiological models take a detailed approach by considering specific molecular processes. They can predict drug distribution, metabolism, and elimination changes, providing a comprehensive understanding of how drugs interact with the body.
Physiological models take a detailed approach by considering specific molecular processes. They can predict drug distribution, metabolism, and elimination changes, providing a comprehensive understanding of how drugs interact with the body.
392

