大型语言模型在总结放射学报告中对肺癌的印象在中文中:评估研究
Danqing Hu1,2, Shanyuan Zhang3, Qing Liu4
1Jiangsu Key Laboratory of Intelligent Medical Image Computing, School of Future Technology, Nanjing University of Information Science and Technology, Nanjing, China.
大型语言模型 (LLM) 在生成肺癌完整和正确的放射学报告印象方面表现有前途. 然而,目前的LLM缺乏必要的简洁性和真实性,以完全取代放射科医生撰写的报告.
科学领域:
- 医疗成像中的人工智能
- 在医疗保健中的自然语言处理.
- 放射学报告的生成 放射学报告的生成
背景情况:
- 大型语言模型 (LLM) 展示了重要的文本生成能力.
- 在总结放射学报告印象时,LLM的有效性尚未得到充分证实.
- 这在肺癌诊断和报告方面尤为重要.
研究的目的:
- 评估九名LLM在汇总中国放射学报告肺癌印象方面的表现.
- 该研究评估了包括Tongyi Qianwen,ERNIE Bot,ChatGPT,Bard,Claude,Baichuan,ChatGLM,HuatuoGPT和ChatGLM-Med.在内的模型.
- 重点是从计算机断层扫描 (CT),正电子发射断层扫描 (PET) -CT和超声波 (美国) 报告中获得的印象.
主要方法:
- 从怀疑或确诊肺癌的患者收集了100份中国放射学报告的数据集,用于每个模式 (CT,PET-CT,US).
- 使用零射击,一射击和三射击提示策略来产生印象.
- 由胸部外科医生和放射科医生根据完整性,正确性,简洁性,真实性和可替换性,使用自动定量指标和人类评估来评估产生的印象.
主要成果:
- 在自动评估中,ERNIE Bot,Tongyi Qianwen和Claude分别在CT,PET-CT和US印象生成方面表现出色.
- 人类评估表明ERNIE Bot在CT印象 (简洁性,真实性,可替换性) 中表现出色.
- 在PET-CT中,Tongyi Qianwen领先,在美国印象中Claude领先,尽管与放射科医生原件相比,总体产生的印象缺乏简洁性和真实性.
结论:
- 目前的LLM可以以高的完整性和正确性产生放射学印象.
- 然而,简洁性和真实性的局限性使得LLM产生的印象无法完全取代放射科医生撰写的印象.
- 需要进一步的进步来弥合人工智能生成和专家撰写的放射学报告之间的差距.
更多相关视频
07:53Author Spotlight: Advancing 3D Modeling for Enhanced Diagnosis and Treatment of Pulmonary Nodules in Early-Stage Lung Cancer
Published on: October 13, 2023
08:05Lung CT Segmentation to Identify Consolidations and Ground Glass Areas for Quantitative Assesment of SARS-CoV Pneumonia
Published on: December 19, 2020
相关概念视频
Radiological Investigation III: Pulmonary Angiogram and PET Scan
Pulmonary Angiogram
A Pulmonary Angiogram is an invasive procedure involving injecting a contrast medium through a catheter threaded into the pulmonary artery or the right side of the heart to visualize the pulmonary vasculature. Computed Tomography (CT) scans have mainly replaced this...
Statistical Methods for Analyzing Epidemiological Data
Radiological Investigation I: X-ray and CT
