相关实验视频
Updated: Jun 5, 2025
05:00
Using a Chemical Biopsy for Graft Quality Assessment
Published on: June 17, 2020
5.1K
评估人工智能生成的关于活体脏捐赠的信息的质量和可读性
Vincenzo Villani1, Hong-Hanh T Nguyen2, Kumaran Shanmugarajah3
1Division of Immunology and Organ Transplantation, McGovern Medical School at UTHealth Houston, Houston, TX.
Transplantation direct
|December 13, 2024
概括
人工智能 (AI) 大语言模型 (LLM) 提供了准确但复杂的关于脏捐赠的信息. 需要进一步的研究,以提高AI产生的医疗内容的可访问性,为潜在的捐赠者.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 移植医学 移植医学
背景情况:
- 对于潜在的脏捐赠者来说,高质量,易于获取的信息至关重要.
- 信息质量会影响决定是否进行活体捐献.
- 大型语言模型 (LLM) 越来越多地用于在线医疗信息检索.
研究的目的:
- 评估人工智能生成的关于脏捐赠的内容的质量和可读性.
- 评估LLM答案的准确性,完整性和基于证据的性质.
- 确定理解人工智能生成的脏捐赠信息所需的教育水平.
主要方法:
- 对三个LLM提出了35个常见的脏捐赠者问题:ChatGPT,Google Gemini和MedGPT.
- 用CLEAR工具评估了答案的完整性,准确性,基于证据的内容,适当性和相关性.
- 可读性是使用Flesch-Kincaid阅读易度和等级水平得分来衡量的.
主要成果:
- 谷歌双子在CLEAR工具 (24.33) 上得分最高,其次是MedGPT (23.33) 和ChatGPT (22).
- 所有的LLM都提供了通常准确但复杂的信息,需要大学水平的阅读能力.
- 弗莱什-金凯德等级水平分数表明所有测试的LLM的大学水平可读性 (ChatGPT: 12.29,双子座: 10.63,MedGPT: 13.21).
结论:
- 目前的LLM提供了对脏捐赠者查询的准确答案,但在高教育水平上提供了信息.
- 人工智能产生的医疗信息的复杂性需要仔细考虑患者的理解.
- 移植提供者应该意识到LLM的局限性,以便有效指导患者.
