ConvolutionalLayer順伝播
$$
u_{i}^{j, k} = \displaystyle \sum_{p }^{ H } \displaystyle \sum_{q }^{ H } x_{i + p}^{j + q} \cdot h_{p}^{q, k} + b_{k}
\\
y_{i}^{j, k} = σ(u_{i}^{j, k})
$$
$$
\frac{ \partial E }{ \partial x_{ι_0}^{ι_1} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, (ι_0 - M) + 1) } \displaystyle \sum_{q }^{ max(0, (ι_1 - N) + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot \frac{ \partial u_{ι_0 - p}^{ι_1 - q, k} }{ \partial x_{ι_0}^{ι_1} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, (ι_0 - M) + 1) } \displaystyle \sum_{q }^{ max(0, (ι_1 - N) + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot \frac{ \partial (x_{(ι_0 - p) + p}^{(ι_1 - q) + q} \cdot h_{p}^{q, k} + b_{k}) }{ \partial x_{ι_0}^{ι_1} }
$$
簡約化する。
$$
= \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, (ι_0 - M) + 1) } \displaystyle \sum_{q }^{ max(0, (ι_1 - N) + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot \frac{ \partial (x_{ι_0}^{ι_1} \cdot h_{p}^{q, k} + b_{k}) }{ \partial x_{ι_0}^{ι_1} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, (ι_0 - M) + 1) } \displaystyle \sum_{q }^{ max(0, (ι_1 - N) + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot ((1 \cdot h_{p}^{q, k} + x_{ι_0}^{ι_1} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, ι_0 - M + 1) } \displaystyle \sum_{q }^{ max(0, ι_1 - N + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot h_{p}^{q, k}
$$
$$
\frac{ \partial E }{ \partial u_{i}^{j, k} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δy_{i}^{j, k} \cdot \frac{ \partial y_{i}^{j, k} }{ \partial u_{i}^{j, k} }
$$
順伝播先の変数に定義式を代入する。
$$
= δy_{i}^{j, k} \cdot \frac{ \partial σ(u_{i}^{j, k}) }{ \partial u_{i}^{j, k} }
$$
簡約化する。
$$
= δy_{i}^{j, k} \cdot \frac{ \partial σ(u_{i}^{j, k}) }{ \partial u_{i}^{j, k} }
$$
微分の計算をする。
$$
= δy_{i}^{j, k} \cdot (σ'(u_{i}^{j, k}) \cdot 1)
$$
式を簡約化する。
$$
= δy_{i}^{j, k} \cdot σ'(u_{i}^{j, k})
$$
$$
\frac{ \partial E }{ \partial h_{ι_p}^{ι_q, k} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial u_{i}^{j, k} }{ \partial h_{ι_p}^{ι_q, k} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial (x_{i + ι_p}^{j + ι_q} \cdot h_{ι_p}^{ι_q, k} + b_{k}) }{ \partial h_{ι_p}^{ι_q, k} }
$$
簡約化する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial (x_{i + ι_p}^{j + ι_q} \cdot h_{ι_p}^{ι_q, k} + b_{k}) }{ \partial h_{ι_p}^{ι_q, k} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot ((0 \cdot h_{ι_p}^{ι_q, k} + x_{i + ι_p}^{j + ι_q} \cdot 1) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot x_{i + ι_p}^{j + ι_q}
$$
$$
\frac{ \partial E }{ \partial b_{k} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial u_{i}^{j, k} }{ \partial b_{k} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial (\displaystyle \sum_{p }^{ H } \displaystyle \sum_{q }^{ H } x_{i + p}^{j + q} \cdot h_{p}^{q, k} + b_{k}) }{ \partial b_{k} }
$$
簡約化する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot \frac{ \partial (\displaystyle \sum_{p }^{ H } \displaystyle \sum_{q }^{ H } x_{i + p}^{j + q} \cdot h_{p}^{q, k} + b_{k}) }{ \partial b_{k} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot (0 + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k}
$$
逆伝播
$$
δu_{i}^{j, k} = δy_{i}^{j, k} \cdot σ'(u_{i}^{j, k})
\\δx_{ι_0}^{ι_1} = \displaystyle \sum_{k }^{ K } \displaystyle \sum_{p }^{ max(0, ι_0 - M + 1) } \displaystyle \sum_{q }^{ max(0, ι_1 - N + 1) } δu_{ι_0 - p}^{ι_1 - q, k} \cdot h_{p}^{q, k}
\\δh_{ι_p}^{ι_q, k} = \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k} \cdot x_{i + ι_p}^{j + ι_q}
\\δb_{k} = \displaystyle \sum_{i }^{ - M } \displaystyle \sum_{j }^{ - N } δu_{i}^{j, k}
$$