視覚的な汚染の検出,分類,報告のための画像字幕とディープラーニングを組み合わせる

科学分野:

• 環境科学
• コンピュータ科学
• 都市計画

背景:

• サウジアラビアの急速な都市開発は,サウジアラビアのビジョン2030イニシアチブを含め,視覚汚染 (VP) などの環境問題をもたらしています.
• 現在のVPの報告方法は,オンラインアプリケーションを介して手動でデータを入力することに依存しています.これは誤りやすいです.
• 都市環境の質を監視し管理するための 自動化された正確なシステムが必要です

研究 の 目的:

• 視覚汚染の自動検出,分類,報告のためのAI駆動のフレームワークを提案する.
• ディープラーニングモデル (YOLOv5,EfficientDet) をVP検出の強化のためのアンサンブル技術と統合する.
• 画像ベースのレポート記述の自動生成のために,ブートストラッピング言語イメージプレトレーニング (BLIP) を利用する.

主な方法:

• YOLOv5とEfficientDetモデルを組み合わせたAIフレームワークを開発しました.
• 個々のディープラーニングモデルのパフォーマンスを向上させるためのアンサンブルテクニックを採用しました.
• 統合されたBLIP-2 (具体的にはBLIP2-Flan-T5-XL) で,レポートの記述を生成するための自動画像字幕.
• 活用しました.
• サウジアラビア 公共道路 視覚汚染 データセット
• フレームワークの作成と評価について

主要な成果:

• アンサンブルアプローチでは,平均精度 (mAP) が0. 95,リコール精度が0. 91,F1スコアが0. 93を達成した.
• 個々のモデルは,視覚的な汚染検出においてアンサンブル方法によって超えられました.
• BLIP2-Flan-T5-XLモデルは,人間の評価に基づいて都市画像の記述テキストを生成する際に80%の正確性を示しました.

結論:

• 提案されたAIフレームワークは,視覚的な汚染の検出と報告を効果的に自動化し,手動入力に関連するエラーを大幅に削減します.
• ディープラーニングと画像字幕の統合により 市民が監視するレポートの作成が容易になり 都市管理が改善されます
• このAIによるアプローチは,サウジアラビアの都市の生活の質を向上させ,持続可能な都市開発を促進します.