FullyConnectedLayer順伝播
$$
u_{i} = \displaystyle \sum_{j }^{ X } x_{j} \cdot w_{i}^{j} + b_{i}
\\
y_{i} = σ(u_{i})
$$
$$
\frac{ \partial E }{ \partial x_{ι_j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{i }^{ Y } δu_{i} \cdot \frac{ \partial u_{i} }{ \partial x_{ι_j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{i }^{ Y } δu_{i} \cdot \frac{ \partial (x_{ι_j} \cdot w_{i}^{ι_j} + b_{i}) }{ \partial x_{ι_j} }
$$
簡約化する。
$$
= \displaystyle \sum_{i }^{ Y } δu_{i} \cdot \frac{ \partial (x_{ι_j} \cdot w_{i}^{ι_j} + b_{i}) }{ \partial x_{ι_j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{i }^{ Y } δu_{i} \cdot ((1 \cdot w_{i}^{ι_j} + x_{ι_j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{i }^{ Y } δu_{i} \cdot w_{i}^{ι_j}
$$
$$
\frac{ \partial E }{ \partial w_{i}^{ι_j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δu_{i} \cdot \frac{ \partial u_{i} }{ \partial w_{i}^{ι_j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δu_{i} \cdot \frac{ \partial (x_{ι_j} \cdot w_{i}^{ι_j} + b_{i}) }{ \partial w_{i}^{ι_j} }
$$
簡約化する。
$$
= δu_{i} \cdot \frac{ \partial (x_{ι_j} \cdot w_{i}^{ι_j} + b_{i}) }{ \partial w_{i}^{ι_j} }
$$
微分の計算をする。
$$
= δu_{i} \cdot ((0 \cdot w_{i}^{ι_j} + x_{ι_j} \cdot 1) + 0)
$$
式を簡約化する。
$$
= δu_{i} \cdot x_{ι_j}
$$
$$
\frac{ \partial E }{ \partial b_{i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δu_{i} \cdot \frac{ \partial u_{i} }{ \partial b_{i} }
$$
順伝播先の変数に定義式を代入する。
$$
= δu_{i} \cdot \frac{ \partial (\displaystyle \sum_{j }^{ X } x_{j} \cdot w_{i}^{j} + b_{i}) }{ \partial b_{i} }
$$
簡約化する。
$$
= δu_{i} \cdot \frac{ \partial (\displaystyle \sum_{j }^{ X } x_{j} \cdot w_{i}^{j} + b_{i}) }{ \partial b_{i} }
$$
微分の計算をする。
$$
= δu_{i} \cdot (0 + 1)
$$
式を簡約化する。
$$
= δu_{i}
$$
$$
\frac{ \partial E }{ \partial u_{i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δy_{i} \cdot \frac{ \partial y_{i} }{ \partial u_{i} }
$$
順伝播先の変数に定義式を代入する。
$$
= δy_{i} \cdot \frac{ \partial σ(u_{i}) }{ \partial u_{i} }
$$
簡約化する。
$$
= δy_{i} \cdot \frac{ \partial σ(u_{i}) }{ \partial u_{i} }
$$
微分の計算をする。
$$
= δy_{i} \cdot (σ'(u_{i}) \cdot 1)
$$
式を簡約化する。
$$
= δy_{i} \cdot σ'(u_{i})
$$
逆伝播
$$
δu_{i} = δy_{i} \cdot σ'(u_{i})
\\δx_{ι_j} = \displaystyle \sum_{i }^{ Y } δu_{i} \cdot w_{i}^{ι_j}
\\δw_{i}^{ι_j} = δu_{i} \cdot x_{ι_j}
\\δb_{i} = δu_{i}
$$