通过喉学的大型语言模型评估研究方法的生成:对ChatGPT-4.0和Gemini 1.5闪光灯进行比较分析

科学领域:

• 耳鼻喉科 耳鼻喉科 耳鼻喉科
• 人工智能在医学中的应用
• 科学研究方法学 科学研究方法学

背景情况:

• 评估先进的人工智能工具在科学研究设计中的实用性至关重要.
• 大型语言模型 (LLM) 有助于开发研究方法的潜力.
• 喉科研究需要强大而准确的方法框架.

研究的目的:

• 为了比较ChatGPT-4.0和Gemini 1.5 Flash在产生喉科研究研究方法方面的能力.
• 根据既定科学标准评估人工智能产生的方法的一致性和质量.

主要方法:

• 选了80篇来自顶级耳鼻喉学期刊的文章,选择了60篇与方法部分和统计分析.
• 研究被分为六种类型:细胞培养,动物实验,前性,后性,系统性审查和人工智能.
• 分析了30项研究 (每组5项),每个研究都采用了ChatGPT-4.0和Gemini 1.5 Flash生成方法,由两个独立评级者进行评估.

主要成果:

• 在ChatGPT-4.0和Gemini 1.5闪光之间平均得分没有统计学上显著的差异 (p > 0.05).
• 聊天GPT-4.0在数据收集和评估方面得分更高;双子座在统计分析方面表现平衡.
• 评分器的一致性是中等到高 (kappa 0.54-0.71);双子座的表现在Q1研究中有显著差异 (p=0.038).

结论:

• 聊天GPT和Gemini在建立喉科研究方法方面表现出相似的一致性.
• 法律法规可以作为研究设计的有价值的支持工具,但专家监督至关重要,特别是在统计分析中.
• 这项研究强调了LLMs在设计喉科研究中的实际应用,提供了新的见解.