関連する実験動画
Updated: Sep 9, 2025

Deep Neural Networks for Image-Based Dietary Assessment
Published on: March 13, 2021
微分方程式を解くためのニューラルネットワークのトレーニングには,自動微分化が不可欠です.
Chuqi Chen1,2, Yahong Yang1, Yang Xiang1,3
1Department of Mathematics, The Hong Kong University of Science and Technology, Clear Water Bay, Hong Kong.
偏微分方程式 (PDEs) を解くためのニューラルネットワークの方法は有望である. 自動微分法 (AD) は,PDEのためのニューラルネットワークの訓練において,有限微分法 (FD) よりも優れている.
科学分野:
- 計算科学と工学
- 応用数学
- 科学的コンピューティングのための機械学習
背景:
- ニューラルネットワークは,部分微分方程式 (PDEs) を解くためにますます使用されています.
- 有限差 (FD) のような従来の方法は,導関数計算のためにローカルポイントを必要とします.
- 自動区分 (AD) は,サンプルポイントのみを使用することで,代替案を提供します.
研究 の 目的:
- ニューラルネットワークベースのPDE解き方における有限差 (FD) 方法に対する自動微分 (AD) の訓練上の優位性を定量的に示す.
- ニューラルネットワークのトレーニング特性を特徴付けるための新しいメトリックである断片化されたエントロピーを導入し,検証する.
- 訓練の観点から,PDEsの解明におけるADとFDのパフォーマンスを比較する.
主な方法:
- 訓練の特徴化のための断片化されたエントロピー概念の導入.
- ランダムな特徴モデルに関する実験的および理論的分析.
- ADとFDの両方を用いて2層のニューラルネットワークの分析.
主要な成果:
- 断片化されたエントロピーは,ランダムな特徴モデルにおける残余損失を確実に定量化します.
- 断片化されたエントロピーはADとFDの両方のニューラルネットワークトレーニング速度のメトリックとして機能します.
- 実験的および理論的な証拠は,PDEsのためのニューラルネットワークの訓練においてADはFDを上回っていることを示しています.
結論:
- 自動微分法 (AD) は,有限微分法 (FD) 方法と比較して,ニューラルネットワークベースの偏微分方程式 (PDE) 解き方のための優れたトレーニングアプローチを提供します.
- 訓練のダイナミクスとパフォーマンスを効果的に特徴づけています.
- この発見は,複雑な方程式を解くための科学的な機械学習における ADのより広範な採用を支持しています.
さらに関連する動画
11:17Efficient Neural Differentiation using Single-Cell Culture of Human Embryonic Stem Cells
Published on: January 18, 2020
09:34A Virtual Machine Platform for Non-Computer Professionals for Using Deep Learning to Classify Biological Sequences of Metagenomic Data
Published on: September 25, 2021
関連する概念動画
Transmission-Line Differential Equations
Line Section Model
A circuit representing a line section of length Δx helps in understanding the transmission line parameters. The voltage V(x) and current i(x) are measured...
Linear Approximation in Frequency Domain
In contrast, nonlinear systems do not inherently possess these properties. However, for small deviations around an operating point, a nonlinear system can often be approximated as linear....
Difference Equation Solution using z-Transform
The z-transform facilitates handling delayed signals by shifting the signal in the z-domain, which corresponds to delaying the signal in the time domain, and advancing signals by similarly shifting in the...
Fundamental Mathematical Principles in Pharmacokinetics: Calculus and Graphs
On the other hand, integral calculus focuses on...
Fast Decoupled and DC Powerflow
Second Derivatives and Laplace Operator
Consider a scalar function. The curl of its...