在牙科研究中开发和应用DAISY框架,用于对人工智能生成与人类撰写的摘要进行基准测试
Varkey Nadakkavukaran Santhosh1, Rhea Vas2, Shreya S3
1Independent Public Health Researcher, India.
International journal of medical informatics
|November 24, 2025
概括
根据DAISY框架,人类撰写的摘要在牙科研究中优于人工智能生成的摘要. 虽然ChatGPT在人工智能工具中表现最好,但没有一个符合人类的质量,突出了科学写作中的AI局限性.
科学领域:
- 牙科研究 牙科研究
- 人工智能在科学写作中的作用
- 学术出版学术出版公司
背景情况:
- 人工智能工具 (ChatGPT,Claude,Gemini) 在科学写作中越来越多地使用,这引发了对抽象质量和准确性的担忧.
- 与人类撰写的摘要相比,人工智能生成的摘要在牙科研究中的可靠性是可疑的.
- 需要一个强大的框架来评估AI产生的摘要在科学背景下.
研究的目的:
- 开发和验证DAISY框架用于评估人工智能生成的摘要.
- 将ChatGPT,Claude和Gemini的性能与牙科研究中人类撰写的摘要进行比较.
主要方法:
- 该DAISY框架评估数据准确性,抽象质量,完整性,语法和人类可能性.
- 使用8篇牙科研究文章 (结构化和非结构化) 进行比较观察性研究设计.
- 十位牙科专家使用DAISY框架评估了人类撰写和人工智能生成的摘要.
主要成果:
- 人类撰写的摘要在所有DAISY领域显著超过了所有人工智能生成的摘要.
- 在人工智能工具中,ChatGPT得分最高,但所有人工智能摘要在人类可能性中得分低于50%.
- 双子号显示了人类最低的概率得分 (3.25 ± 1.75).
结论:
- DAISY框架是评估科学写作中人工智能生成的摘要的可靠工具.
- 目前的AI工具,包括ChatGPT,无法与人类撰写的牙科研究摘要的质量和可信度相匹配.
- 人工智能工具显示出潜力,但在生产高质量的科学内容方面存在局限性.
相关概念视频
01:16Deductive Reasoning
Deductive reasoning, or deduction, is the type of logic used in hypothesis-based science. In deductive reasoning, the pattern of thinking moves in the opposite direction from inductive reasoning. It uses a general principle or law to predict specific results. From these general principles, a scientist can predict specific results that remain valid as long as the general principles are correct.For example, a researcher can make specific predictions from the hypothesis "butterflies are attracted...
01:16Non-equilibrium in the Cell
An important concept in studying metabolism and energy is that of chemical equilibrium. Most chemical reactions are reversible. They can proceed in both directions, releasing energy into their environment in one direction, and absorbing it from the environment in the other direction. The same is true for the chemical reactions involved in cell metabolism, such as the breaking down and building up of proteins into and from individual amino acids, respectively. Reactants within a closed system...