在瘤基因驱动的非小细胞肺癌中进行生成预训练变压器模型的比较分析:引入生成人工智能性能评分

科学领域:

• 在瘤学瘤学.
• 人工智能的人工智能
• 生物标志物发现发现

背景情况:

• 在非小细胞肺癌 (NSCLC) 中,精确瘤学至关重要,但面临着挑战.
• 缺少基因组培训,非标准化报告和不断发展的治疗方法阻碍了进步.
• 生成性AI为NSCLC提供了临床决策支持的潜力.

研究的目的:

• 评估ChatGPT版本在生成NSCLC下一代测序报告和治疗建议方面的准确性.
• 评估人工智能模型对幻觉和不正确信息的倾向.
• 引入一种新的生成AI性能得分 (G-PS) 来评估AI的实用性.

主要方法:

• 使用零射击快速方法,查询了ChatGPT版本的第一线NSCLC治疗建议.
• 对国家综合癌症网络 (NCCN) 准确性,相关性和幻觉指南进行了评估.
• 计算了G-PS,包括对正确推的基本得分和对幻觉的处罚.

主要成果:

• 与GPT-3.5相比,GPT-4在生成NSCLC治疗建议方面表现优越.
• GPT-4取得了更高的基础得分 (90%与60%相比),并表现出更少的幻觉 (34%与53%相比).
• 在GPT-4的整体G-PS (0.34) 显著高于GPT-3.5 (-0.15).

结论:

• 生成型人工智能正在迅速改进,将NSCLC治疗与生物标志物相匹配.
• 虽然GPT-4显示改善,但高精度与最小的幻觉对于临床AI采用至关重要.
• G-PS为量化医疗保健中的生成AI实用性提供了一种新的指标.