分类数据的社会构造:混合方法方法评估公开可用的数据集中的数据特征

科学领域:

• 机器学习 机器学习
• 数据科学数据科学数据科学
• 医疗信息学 医疗信息学

背景情况:

• 计算机科学家使用分类数据 (例如,性别,皮肤颜色) 来增强机器学习模型在医疗保健等数据稀缺领域.
• 分类数据对不同人群中的模型准确性和公平性的影响仍未得到充分研究.

研究的目的:

• 调查分类数据对机器学习模型性能的影响.
• 分析影响分类数据实用性的数据收集和发布过程.
• 在机器学习培训之前,提出一种混合方法方法来评估分类数据.

主要方法:

• 开发了一种混合方法的方法,基于类别的社会构造.
• 量化分析评估了包括/排除分类特征对基于变压器的模型的影响,使用巴西皮肤病学数据集 (PAD-UFES 20).
• 定性分析涉及采访数据集作者,以了解数据收集和发布的理由.

主要成果:

• 定量分析揭示了分类数据对不同类别模型预测的不一致影响.
• 定性见解通过突出数据类别的社会构造和上下文依赖来解释观察到的定量效应.
• 这些发现强调了使用公开可用的数据集在与其来源不同的环境中的局限性.

结论:

• 在不考虑其社会构造和背景的情况下使用公开数据集的分类数据时,建议谨慎使用.
• 建议使用混合方法进行社会科学,上下文依赖的分析,以评估对预期人群的分类数据实用性.
• 这种方法有助于确保公平的机器学习模型开发,特别是在数据稀缺的领域.