RecurrentLayer順伝播
$$
u_{t}^{j} = \displaystyle \sum_{i }^{ X } x_{t}^{i} \cdot win_{j}^{i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}
\\
y_{t}^{j} = σ(u_{t}^{j})
$$
$$
\frac{ \partial E }{ \partial x_{t}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial x_{t}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial (x_{t}^{ι_i} \cdot win_{j}^{ι_i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial x_{t}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial (x_{t}^{ι_i} \cdot win_{j}^{ι_i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial x_{t}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot ((1 \cdot win_{j}^{ι_i} + x_{t}^{ι_i} \cdot 0) + 0 + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot win_{j}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial y_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial u_{t + 1}^{j} }{ \partial y_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t + 1}^{i} \cdot win_{j}^{i} + w_{j}^{j} \cdot y_{(t + 1) -1}^{j} + b_{j}) }{ \partial y_{t}^{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t + 1}^{i} \cdot win_{j}^{i} + w_{j}^{j} \cdot y_{t}^{j} + b_{j}) }{ \partial y_{t}^{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot (0 + (0 \cdot y_{t}^{j} + w_{j}^{j} \cdot 1) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot w_{j}^{j}
$$
$$
\frac{ \partial E }{ \partial win_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial win_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (x_{t}^{ι_i} \cdot win_{j}^{ι_i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial win_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (x_{t}^{ι_i} \cdot win_{j}^{ι_i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial win_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot ((0 \cdot win_{j}^{ι_i} + x_{t}^{ι_i} \cdot 1) + 0 + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot x_{t}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial w_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial w_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t}^{i} \cdot win_{j}^{i} + w_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + b_{j}) }{ \partial w_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t}^{i} \cdot win_{j}^{i} + w_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + b_{j}) }{ \partial w_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot (0 + (1 \cdot y_{t -1}^{ι_i} + w_{j}^{ι_i} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot y_{t -1}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial b_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial b_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t}^{i} \cdot win_{j}^{i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial b_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } x_{t}^{i} \cdot win_{j}^{i} + \displaystyle \sum_{i }^{ Y } w_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial b_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot (0 + 0 + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial u_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δy_{t}^{j} \cdot \frac{ \partial y_{t}^{j} }{ \partial u_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δy_{t}^{j} \cdot \frac{ \partial σ(u_{t}^{j}) }{ \partial u_{t}^{j} }
$$
簡約化する。
$$
= δy_{t}^{j} \cdot \frac{ \partial σ(u_{t}^{j}) }{ \partial u_{t}^{j} }
$$
微分の計算をする。
$$
= δy_{t}^{j} \cdot (σ'(u_{t}^{j}) \cdot 1)
$$
式を簡約化する。
$$
= δy_{t}^{j} \cdot σ'(u_{t}^{j})
$$
逆伝播
$$
δy_{t}^{j} = \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot w_{j}^{j}
\\δu_{t}^{j} = δy_{t}^{j} \cdot σ'(u_{t}^{j})
\\δx_{t}^{ι_i} = \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot win_{j}^{ι_i}
\\δwin_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot x_{t}^{ι_i}
\\δw_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot y_{t -1}^{ι_i}
\\δb_{j} = \displaystyle \sum_{t }^{ T } δu_{t}^{j}
$$