人工盟友:通过NLP模型开发中的数据增强对同行支持工具的合成文本的验证

科学领域:

• 自然语言处理 (NLP) 是一种自然语言处理.
• 人与计算机的交互
• 人工智能 (AI) 是一种人工智能.

背景情况:

• 增加培训数据对于开发强大的自然语言处理 (NLP) 模型至关重要.
• 同行支持工具可以从先进的NLP中受益,以改善用户交互和支持忠诚度.
• 评估合成文本的可检测性是其在人工智能模型培训中有效使用的关键.

研究的目的:

• 调查合成文本在增强NLP模型培训数据中的有效性,在同行支持背景下.
• 评估人类评价者的能力,包括专业的同行支持者和熟练的人工智能的人,以区分人工智能生成的和人类写的句子.
• 用信号检测理论和基于信心的指标分析分类准确性和信心水平.

主要方法:

• 调查了22名参与者 (13名专业同行支持者,9名AI熟练的个人) 如何区分人工智能生成和人类撰写的文本.
• 采用信号检测理论和基于信心的指标来评估评分器的性能.
• 使用统计方法分析了评级者协议,分类准确性和偏见.

主要成果:

• 在同行支持者和AI熟练的个人之间没有发现评级者协议的显著差异 (p = 0.116).
• 整体分类准确度低于偶然水平 (平均准确率 = 43.10%,p < 0.001),表明难以区分文本类型.
• 同行支持者对错误地将低真实性句子归类为人工智能生成的有显著的偏见 (p = 0.007).
• 熟练使用人工智能的评级人员在错误和信心之间显示出显著的负相关性 (r = -0.429,p < 0.001).

结论:

• 合成文本显示了模仿人类沟通的可行性,支持其用于增强NLP训练数据的使用.
• 这些发现对通过改进NLP模型开发来提高同行支持干预措施的可靠性有重大影响.
• 需要进一步的研究来完善合成文本生成及其在专业领域的应用,如同行支持.