在心理学研究中评估神经网络的预测可靠性,使用随机数据集

科学领域:

• 心理学 心理学 心理学
• 机器学习 机器学习
• 统计建模 统计建模

背景情况:

• 心理学家越来越多地使用预测模型.
• 监督的神经网络在心理学中的预测任务中很常见.
• 有关随机数据集的神经网络可靠性存在担忧.

研究的目的:

• 在心理学中,用随机数据集评估神经网络的预测性能.
• 使用神经网络确定可靠结论的最小样本大小.
• 为了指导心理学家在机器学习应用程序的样本大小规划.

主要方法:

• 进行了一项蒙特卡洛模拟研究.
• 神经网络配备了随机数据集 (变量之间没有真正的关系).
• 绩效是使用诸如平衡精度和曲线下面面积 (AUC) 等指标来评估的.

主要成果:

• 对于连续依赖变量,样本大小>50通常可以防止错误的结论.
• 对于二进制依赖变量,取决于所需的平衡精度值,需要200-500个样本大小.
• 不同的AUC性能标准 (≥ .6至≥ .7) 需要特定的样本大小 (100-500).

结论:

• 当使用适当的样本大小时,神经网络可以在心理学中提供可接受的预测性能.
• 这项研究提供了在使用神经网络的心理学研究中对样本大小规划的经验证据.
• 这些发现强调了样本大小的重要性,以确保基于机器学习的心理结论的有效性.