预先概率信息对放射性诊断中的大语言模型性能的影响
Takahiro Fukushima1, Ryo Kurokawa2, Akifumi Hagiwara1
1Department of Radiology, Graduate School of Medicine, The University of Tokyo, 7-3-1 Hongo, Bunkyo-Ku, Tokyo, 113-8655, Japan.
提供关于先前概率的上下文显著影响放射学测试中的大语言模型 (LLM) 诊断准确性. 将案例作为初级保健场景的框架降低了LLM的表现,这表明背景对于最佳的AI辅助诊断至关重要.
科学领域:
- 人工智能在医学中的应用
- 放射性诊断 放射性诊断 放射性诊断 放射性诊断 放射性诊断
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 显示出有助于放射性诊断的潜力.
- 法学士的成绩可能会受到与案例提供的上下文信息的影响.
- 了解背景如何影响LLM诊断准确度对于临床应用至关重要.
研究的目的:
- 评估先前概率信息在放射学测试病例中对LLM诊断性能的影响.
- 在不同的上下文条件下比较LLM准确性.
主要方法:
- 分析了322个放射性测试病例,使用克劳德3.5索内特.
- 测试了三个条件:没有上下文,测试案例上下文和初级保健案例上下文.
- 使用McNemar的测试来比较诊断的准确性.
主要成果:
- 当案件以测验场景 (70.2%) 与没有上下文 (64.9%) 相比呈现时,诊断准确性显著提高.
- 当案件被定义为初级保健场景 (59.9%) 与没有背景 (64.9%) 时,准确性显著下降.
结论:
- 背景信息,特别是关于先前概率的信息,显著改变了放射学LLM诊断性能.
- 在LLM中,可能会采用贝叶斯式推理,根据情境线索调整诊断输出.
- 优化临床放射学LLM的表现可能涉及仔细提供相关的上下文数据.
更多相关视频
03:14Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
相关概念视频
Positron Emission Tomography
One of the main requirements of a PET scan is a positron-emitting radioisotope, which is produced in a cyclotron and then attached to a substance used by the part of the body...
Radiological Investigation III: Pulmonary Angiogram and PET Scan
Pulmonary Angiogram
A Pulmonary Angiogram is an invasive procedure involving injecting a contrast medium through a catheter threaded into the pulmonary artery or the right side of the heart to visualize the pulmonary vasculature. Computed Tomography (CT) scans have mainly replaced this...
Receiver Operating Characteristic Plot
Sensitivity, Specificity, and Predicted Value
Sensitivity is the...
Language and Cognition
The Availability Heuristic
