人工智能聊天的准确性GPT在瘤学检查问题中的问题
Ronald Chow1, Shaakir Hasan2, Ajay Zheng2
1Temerty Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada; New York Proton Center, New York, New York.
Journal of the American College of Radiology : JACR
|August 4, 2024
概括
最新的AI,ChatGPT 4o,正确回答了72.2%的瘤学问题,与旧版本相比显著改善. 虽然对医疗培训有希望,但人工智能仍然需要进一步开发用于瘤学决策.
科学领域:
- 在瘤学瘤学.
- 人工智能的人工智能
- 医学教育 医学教育
背景情况:
- 人工智能 (AI) 的快速发展为医学教育和实践带来了新的机遇.
- 像ChatGPT这样的大型语言模型正在越来越多地被探索其在医疗保健环境中的潜力.
- 在专业医疗领域评估人工智能的准确性对于理解它的实用性至关重要.
研究的目的:
- 评估聊天生成预训练变压器 (ChatGPT) 在回答放射瘤学检查问题的准确性.
- 为了比较ChatGPT 4o和ChatGPT 3.5在一组多选择题上的性能.
- 确定ChatGPT在瘤学方面的知识强或弱的领域.
主要方法:
- 总共使用了600个连续的多项选择题,来自国家放射瘤在职检查.
- 问题被输入到ChatGPT 4o和ChatGPT 3.5.5中.
- 将ChatGPT的答案与官方答案密钥进行比较,以确定准确度.
主要成果:
- 聊天GPT 4o的准确率达到72.2%,而聊天GPT 3.5的正确答案为53.8%.
- 在不同类别的问题中,表现有显著差异 (P < .01).
- 在与里程碑性研究,治疗建议和规划有关的领域,ChatGPT的准确性较低.
结论:
- 较新的ChatGPT 4o版本显示了与以前代相比,准确度的显著改善.
- 人工智能技术对瘤医学培训和决策支持具有前景.
- 尽管目前的局限性,但ChatGPT需要进一步发展才能被认为是瘤学中完全可靠的资源.
更多相关视频
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
8.2K
09:53Quantifying the Brain Metastatic Tumor Micro-Environment using an Organ-On-A Chip 3D Model, Machine Learning, and Confocal Tomography
Published on: August 16, 2020
7.2K
