精确的聊天机器人生成预训练变压器版本4-生成参考结肠和直肠外科文献
Aaron L Albuck1, Chad M Becnel2, Daniel J Sirna1
1School of Medicine, Tulane University, New Orleans, Louisiana.
The Journal of surgical research
|August 9, 2024
概括
聊天GPT-4显示出产生科学参考的潜力,但缺乏准确性,如DOI和作者列表的结肠和直肠手术研究的详细信息.
科学领域:
- 结肠直肠手术 结肠直肠手术
- 人工智能在医学中的应用
- 图书统计学 图书统计学
背景情况:
- 在学术研究中越来越多地使用像ChatGPT-4这样的AI工具,需要评估它们的输出质量.
- 评估人工智能生成的引用的准确性对于保持科学完整性至关重要.
研究的目的:
- 评估ChatGPT-4为结肠和直肠外科手术文献生成的参考文献的准确性.
- 在人工智能生成的引用中识别特定的不准确区域.
主要方法:
- 结肠和直肠外科手术中的十个关键术语被用来提示ChatGPT-4引用.
- 两个评价者将生成的引用与Scopus,Google和PubMed数据库进行了交叉引用.
- 根据标题,作者,期刊,出版年份和数字物体识别符 (DOI) 来评估准确性.
主要成果:
- 在生成的100个引用中,有41%是完全准确的,但没有一个包含DOI.
- 67%的参考资料是部分准确的 (可以通过标题和期刊识别).
- 没有一个关键词在所有引用元素中产生100%的准确性;作者列表始终不准确.
结论:
- 聊天GPT-4展示了学术文献的潜力,但需要显著的改进才能在结肠和直肠手术研究中可靠地使用.
- 准确性不一致,缺少DOI和作者归因错误限制了其当前的适用性.
- 在 ChatGPT-4 可以完全信任生成精确的科学参考之前,需要进一步开发.
