深層強化学習による熱電エネルギーハーベスティングの最適化：動的エネルギー管理とシステム効率向上

科学分野:

• エネルギーシステム工学
• 人工知能
• 材料科学

背景:

• 静的な最適化手法は、熱電発電機（TEG）の動的エネルギー管理において限界があります。
• 廃熱回収システムは、適応制御戦略を必要とする変動条件下にあります。
• TEGアプリケーションでは、バッテリー寿命の延長とシステム効率の最大化が重要です。

研究 の 目的:

• TEGの動的エネルギー管理に最適な深層強化学習（DRL）アルゴリズムを特定すること。
• 変動条件下でのエネルギー分配、バッテリー寿命、システム効率を向上させること。
• ソフトアクタークリティック（SAC）、プロキシマルポリシー最適化（PPO）、ディープQネットワーク（DQN）アルゴリズムのパフォーマンスを比較すること。

主な方法:

• TEGシステムをシミュレーション環境におけるマルコフ決定プロセスとしてモデル化しました。
• 3つのDRLアルゴリズム（SAC、PPO、DQN）を知能コントローラーとしてトレーニングしました。
• 累積報酬、バッテリー健全性、システム効率、エネルギー充足率を使用してパフォーマンスを評価しました。

主要な成果:

• ソフトアクタークリティック（SAC）は、最も高い平均報酬（-7.03）とエネルギー充足率（22.84%）を達成しました。
• PPOおよびその他のアルゴリズムは、優れたバッテリー健全性（100.00%）を示し、ハードウェア寿命の長さを物語っています。
• ディープQネットワーク（DQN）は、特にバッテリー健全性（60.73%）において、最も低いパフォーマンスを示しました。

結論:

• ソフトアクタークリティック（SAC）アルゴリズムは、パフォーマンスと探索のバランスが取れているため、動的なTEGエネルギー管理に最も適しています。
• 即時のパフォーマンス最大化と長期的なシステムハードウェア寿命の確保との間にはトレードオフが存在します。
• DRLは、適応型再生可能エネルギーコントローラーとして大きな可能性を示しており、さらなる物理ハードウェア検証が必要です。