一个混合YOLO和分段任何东西模型管道用于无人机检查图像中的多损害分段
Rafael Cabral1, Ricardo Santos1,2, José A F O Correia1
1CONSTRUCT-iRail, Faculty of Engineering, University of Porto, 4200-465 Porto, Portugal.
Sensors (Basel, Switzerland)
|November 13, 2025
概括
这项研究优化了无人机 (UAV) 基础设施检查,通过比较损害细分的深度学习模型. 结合YOLO和Segment Anything Model (SAM) 的混合管道实现了对裂,花朵和露面钢筋的最佳结果.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 土木工程 土木工程是指土木工程.
背景情况:
- 使用无人机 (UAV) 进行民用基础设施的自动化检查,在高分辨率图像中准确细分多种损坏类型方面面临挑战.
- 像分段任何模型 (SAM) 这样的基础模型对数据高效的细分有希望,但需要有效的提示策略,特别是对于复杂的缺陷.
研究的目的:
- 进行对深度学习策略进行比较分析,以对基础设施图像中的裂,花和露面钢筋进行细分.
- 确定一个最佳的深度学习管道,以加强自动损害检测和细分.
主要方法:
- 对三个端到端细分框架的系统评估:YOLOv11原生输出,带有边界框提示的分段任何模型 (SAM),以及从检测器概率图中获得的点提示的SAM.
- 开发一条混合管道,利用SAHI训练的YOLO模型对裂的本地细分和SAM,由YOLO界限盒对浮花和露面钢筋的提示.
主要成果:
- 优化的混合管道实现了0.593.50的平均平均精度 (mAP50).
- 类特定的交叉与联盟 (IoU) 分数为裂的0.495,花朵的0.331和暴露的铁杆的0.205.
- 通过利用专业探测器和基础模型的优势,制定特定类别的策略是最有效的.
结论:
- 智能框架将专业探测器和强大的基础模型结合在一起,以一种情境意识的方式,对于未来的自动化基础设施检查至关重要.
- 拟议的混合方法在准确细分各种基础设施损坏方面取得了重大进展.
