在光学和视觉科学考试问题上ChatGPT的表现
Nayuta Yoshioka1, Vanessa Honson1, Revathy Mani1
1School of Optometry and Vision Science, UNSW Australia, Sydney, New South Wales, Australia.
概括
大型语言模型 (LLM) 在光学和视觉科学中表现不同,像GPT-4这样的新模型的表现优于旧模型. 由于不一致的结果和道德考虑,建议仔细整合.
科学领域:
- 视光学和视觉科学 视光学和视觉科学
- 教育中的人工智能
背景情况:
- 大型语言模型 (LLM) 提供了新的教育工具,但在各个学术领域显示出性能变化.
- 评估专业领域的LLM能力,如光学,对于理解他们的潜力和局限性至关重要.
研究的目的:
- 通过使用长答案问题评估ChatGPT (GPT-3.5,GPT-4,o1模型) 在光学和视觉科学中的性能.
- 探索在光学教育中使用LLM作为虚拟评分器的可行性.
- 为了对各种视光学子领域的LLM响应与人类评分器进行基准测试.
主要方法:
- 分析了聊天GPT (GPT-3.5,GPT-4,o1) 对光学长答案问题的反应.
- 研究人员将LLM的表现与人类评分器进行了比较,使用了统计分析,包括混合效应模型和非参数测试.
- 用专题分析来识别不同GPT模型和光学子领域的响应错误.
主要成果:
- 所有测试的GPT模型总体上产生了令人满意的响应 (超过50%的合格率),性能因子领域和模型而异.
- 新的模型 (GPT-4,o1) 显著优于旧的模型 (GPT-3.5),o1模型没有产生主题错误.
- 聊天GPT评分器经常比人类评分器获得更高的分数,尽管这仅对GPT-3.5.5.具有统计学意义.
结论:
- 法学士在光学和视觉科学教育方面表现出潜力,但在各个子领域表现不一致.
- 在光学评估中采用LLM需要仔细考虑伦理含义,透明度以及需要明智地调整教学实践.
相关概念视频
01:25Glaucoma: Overview
777
Glaucoma is an eye condition characterized by increased intraocular pressure that damages the retina and optic nerve, leading to irreversible blindness if left untreated. The human eye has various components, including the cornea, iris, pupil, lens, and optic nerve. Aqueous humor is secreted by the epithelium of the ciliary body in the posterior chamber and flows through the trabecular meshwork and canal of Schlemm, maintaining normal intraocular pressure. The trabecular meshwork and the canal...
777
01:27Open Angle Glaucoma: Treatment
583
In open-angle glaucoma, the iridocorneal angle remains open, but the trabecular meshwork becomes stiff, slowing down the outflow of aqueous humor. This causes a buildup of aqueous humor in the anterior chamber, leading to a sudden increase in intraocular pressure. The treatment for open-angle glaucoma focuses on reducing the elevated intraocular pressure by either decreasing the secretion of aqueous humor or increasing its outflow.
Drugs such as carbonic anhydrase inhibitors, α2- and...
Drugs such as carbonic anhydrase inhibitors, α2- and...
583