在欧盟*美国电子卫生工作基础课程中评估ChatGPT的表现,使用HITCOMP自我评估测试题
Chun-Wei Liu1,2, Zu-Chun Lin1, Malcolm Koo1
1Dept. of Nursing, Tzu Chi University of Science and Technology, Hualien, Taiwan.
聊天GPT在欧盟*美国电子健康工作基础课程上显示了70.7%的准确性,显示了健康信息技术教育的潜力. 为了全面覆盖电子卫生能力,还需要进一步改进.
科学领域:
- 医疗信息学 医疗信息学
- 教育中的人工智能
背景情况:
- 欧盟*美国电子健康工作基础课程为电子健康学习提供了一个全面的框架.
- 评估AI理解和响应复杂的健康信息学课程的能力至关重要.
研究的目的:
- 评估OpenAI的ChatGPT (GPT-3.5模型) 在回答基于欧盟*美国电子卫生工作基础课程的问题方面的表现.
- 确定ChatGPT对健康信息技术能力的响应的准确性和一致性.
主要方法:
- 使用了来自健康信息技术能力 (HITCOMP) 自我评估测试的321个问题.
- 将每个问题提交给ChatGPT三次,以评估响应的一致性.
- 在21个课程模块中分析了ChatGPT答案的准确性.
主要成果:
- 在回答电子健康课程问题时,获得了70.7%的整体准确率.
- 证明了对电子健康主题的合理理解,但在模块之间表现有变化.
- 当问题重复时,GPT-3.5模型的答案显示一致.
结论:
- 聊天GPT显示出作为卫生信息技术教育工具的巨大潜力.
- 目前的表现表明需要进一步开发人工智能模型,以充分覆盖电子健康能力.
- 该研究强调了人工智能在专业教育框架中的不断变化的作用.
更多相关视频
06:28E-Patient Counseling Trial E-PACO: Computer Based Education versus Nurse Counseling for Patients to Prepare for Colonoscopy
Published on: August 1, 2019
07:31A Computerized Functional Skills Assessment and Training Program Targeting Technology Based Everyday Functional Skills
Published on: February 13, 2020
相关概念视频
Assessment of the Gastrointestinal System II: Health Perception Pattern
Health Perception Patterns
Health perception patterns offer valuable insights into a patient's lifestyle habits and how they may impact their GI health. These patterns include:
Nursing Evaluation
Health Information Technology and Healthcare Information System
Health Information Technology, commonly called HIT, integrates advanced information systems and technology in healthcare settings. Its primary functions include:
Self-Evaluation: Self-Enhancement and Self-Verification
Guidelines and Strategies for Safe Computer Charting
Maintain Confidentiality and Security:
Self-Presentation: Self-Monitoring and Self-Handicapping
