对深度神经网络的故障定位技术的实证研究
Nargiz Humbatova1, Jinhan Kim1, Gunel Jahangirova2
1Università della Svizzera italiana, Via Buffi, 13, Lugano, Switzerland.
Empirical software engineering
|June 13, 2025
概括
评估深度神经网络 (DNN) 故障定位工具显示,单一的基础真相产生低性能. 考虑同等补丁显著改善了结果,DeepFD在DNN调试中显示出最有效的效果.
科学领域:
- 软件工程 软件工程 软件工程
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 深度神经网络 (DNN) 越来越受欢迎,需要开发,测试和调试工具.
- 自动故障定位技术对于分析和识别DNN中的潜在错误至关重要.
研究的目的:
- 评估和比较DNN的最新故障定位技术.
- 评估不同基础真相定义对绩效指标的影响.
主要方法:
- 使用动态和静态分析对DNN故障定位工具进行比较分析.
- 在一个包括真实故障和突变故障模型的基准上进行评估.
- 基于回忆和精度指标的绩效评估.
主要成果:
- 使用一个单一的人类定义的基本真相会导致低性能 (最大平均值. 回忆 0.33,精度 0.21). 这是一个非常好的方法.
- 当考虑对有缺陷的DNN进行同等补丁时,性能会大大提高.
- DeepFD表现出最高的有效性,平均回忆率为0.55,精度为0.37.
结论:
- 地面真相的选择对DNN故障定位工具的评估产生重大影响.
- 考虑同等补丁可以提供更现实的性能评估.
- 现在,DeepFD已经成为DNN故障定位的主要工具.
