在Likert类问卷中对机器人的无监督检测
Michael John Ilagan1, Carl F Falk2
1Department of Psychology, McGill University, 2001 McGill College, 7th Floor, H3A 1G1, Montreal, QC, Canada.
Behavior research methods
|November 20, 2023
概括
这项研究引入了一种新的无监督,无模型的机器人检测算法,用于在线调查. 该方法使用排列测试和留出一个异常值的统计数据来识别机器人,而不需要标记数据或复杂的模型.
科学领域:
- 计算社会科学 计算社会科学
- 调查方法 调查方法
- 机器学习 机器学习
背景情况:
- 现有的在线调查的机器人检测方法通常依赖于标记数据或特定的测量模型.
- 当既没有标记数据,也没有预定义的测量模型可用时,对于机器人检测存在差距.
- 这对于在所有项目中具有统一的利克特类型响应量表的库存尤其重要.
研究的目的:
- 提出一种新的机器人检测算法,适用于无监督和无模型的环境.
- 为了应对在线调查数据中识别机器人的挑战,缺乏标记的响应或测量模型.
- 为库存提供一个可靠的方法,具有一致的利克特类型类别号码.
主要方法:
- 开发了一个基于 permutation 测试的机器人检测算法.
- 纳入每个受访者的异常数据统计的留下一个计算.
- 算法生成一个p值来测试无效假设,即受访者是机器人.
主要成果:
- 拟议的算法证明了强大的名义灵敏度校准,独立于机器人响应分布.
- 模拟研究显示,在95%的灵敏度校准中,与天真替代品相比,显著改善.
- 该算法还在许多模拟场景中提高了分类准确性.
结论:
- 这种基于换测试的新型算法有效地检测在线调查中的机器人,而不需要标记数据或强有力的模型假设.
- 这种无监督,无模型的方法提供了更好的灵敏度校准和分类准确性.
- 该方法对于具有统一的利克尔特类型尺度的调查数据特别有价值.
相关概念视频
02:16Surveys
14.8K
Often, psychologists develop surveys as a means of gathering data. Surveys are lists of questions to be answered by research participants, and can be delivered as paper-and-pencil questionnaires, administered electronically, or conducted verbally. Generally, the survey itself can be completed in a short time, and the ease of administering a survey makes it easy to collect data from a large number of people.
14.8K
02:16Stereotype Content Model
14.7K
The Stereotype Content Model (SCM) was first proposed by Susan Fiske and her colleagues (Fiske, Cuddy, Glick & Xu, 2002; see also Fiske, 2012 and Fiske, 2017). The SCM specifies that when someone encounters a new group, they will stereotype them based on two metrics: warmth—or that group’s perceived intent, and how likely they are to provide help or inflict harm—and competence—or their ability to carry out that objective. Depending on the warmth-competence...
14.7K