LSTMLayer順伝播
$$
y_{t}^{j} = σ(uO_{t}^{j}) \cdot σ(s_{t}^{j})
\\
s_{t}^{j} = σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})
\\
uO_{t}^{j} = \displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}
\\
uF_{t}^{j} = \displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}
\\
uI_{t}^{j} = \displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}
\\
u_{t}^{j} = \displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}
$$
$$
\frac{ \partial E }{ \partial x_{t}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial x_{t}^{ι_i} } + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot \frac{ \partial uF_{t}^{j} }{ \partial x_{t}^{ι_i} } + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot \frac{ \partial uI_{t}^{j} }{ \partial x_{t}^{ι_i} } + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial x_{t}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot \frac{ \partial (wOin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot \frac{ \partial (wFin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot \frac{ \partial (wIin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial (win_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial x_{t}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot \frac{ \partial (wOin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot \frac{ \partial (wFin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot \frac{ \partial (wIin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial x_{t}^{ι_i} }
\\ + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot \frac{ \partial (win_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial x_{t}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot ((0 \cdot x_{t}^{ι_i} + wOin_{j}^{ι_i} \cdot 1) + 0 + (0 \cdot s_{t}^{j} + wO_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot ((0 \cdot x_{t}^{ι_i} + wFin_{j}^{ι_i} \cdot 1) + 0 + (0 \cdot s_{t -1}^{j} + wF_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot ((0 \cdot x_{t}^{ι_i} + wIin_{j}^{ι_i} \cdot 1) + 0 + (0 \cdot s_{t -1}^{j} + wI_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot ((0 \cdot x_{t}^{ι_i} + win_{j}^{ι_i} \cdot 1) + 0 + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot wOin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot wFin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot wIin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot win_{j}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial y_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot \frac{ \partial uO_{t + 1}^{j} }{ \partial y_{t}^{j} } + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot \frac{ \partial uF_{t + 1}^{j} }{ \partial y_{t}^{j} } + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot \frac{ \partial uI_{t + 1}^{j} }{ \partial y_{t}^{j} } + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial u_{t + 1}^{j} }{ \partial y_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t + 1}^{i} + wOr_{j}^{j} \cdot y_{(t + 1) -1}^{j} + wO_{j} \cdot s_{t + 1}^{j} + bO_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t + 1}^{i} + wFr_{j}^{j} \cdot y_{(t + 1) -1}^{j} + wF_{j} \cdot s_{(t + 1) -1}^{j} + bF_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t + 1}^{i} + wIr_{j}^{j} \cdot y_{(t + 1) -1}^{j} + wI_{j} \cdot s_{(t + 1) -1}^{j} + bI_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t + 1}^{i} + wr_{j}^{j} \cdot y_{(t + 1) -1}^{j} + b_{j}) }{ \partial y_{t}^{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t + 1}^{i} + wOr_{j}^{j} \cdot y_{t}^{j} + wO_{j} \cdot s_{t + 1}^{j} + bO_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t + 1}^{i} + wFr_{j}^{j} \cdot y_{t}^{j} + wF_{j} \cdot s_{t}^{j} + bF_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t + 1}^{i} + wIr_{j}^{j} \cdot y_{t}^{j} + wI_{j} \cdot s_{t}^{j} + bI_{j}) }{ \partial y_{t}^{j} }
\\ + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t + 1}^{i} + wr_{j}^{j} \cdot y_{t}^{j} + b_{j}) }{ \partial y_{t}^{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot (0 + (0 \cdot y_{t}^{j} + wOr_{j}^{j} \cdot 1) + (0 \cdot s_{t + 1}^{j} + wO_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot (0 + (0 \cdot y_{t}^{j} + wFr_{j}^{j} \cdot 1) + (0 \cdot s_{t}^{j} + wF_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot (0 + (0 \cdot y_{t}^{j} + wIr_{j}^{j} \cdot 1) + (0 \cdot s_{t}^{j} + wI_{j} \cdot 0) + 0)
\\ + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot (0 + (0 \cdot y_{t}^{j} + wr_{j}^{j} \cdot 1) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot wOr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot wFr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot wIr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot wr_{j}^{j}
$$
$$
\frac{ \partial E }{ \partial wIin_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial uI_{t}^{j} }{ \partial wIin_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (wIin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wIin_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (wIin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wIin_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot ((1 \cdot x_{t}^{ι_i} + wIin_{j}^{ι_i} \cdot 0) + 0 + (0 \cdot s_{t -1}^{j} + wI_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot x_{t}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wFin_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial uF_{t}^{j} }{ \partial wFin_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (wFin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wFin_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (wFin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wFin_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot ((1 \cdot x_{t}^{ι_i} + wFin_{j}^{ι_i} \cdot 0) + 0 + (0 \cdot s_{t -1}^{j} + wF_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot x_{t}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wOin_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial wOin_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (wOin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wOin_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (wOin_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wOin_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot ((1 \cdot x_{t}^{ι_i} + wOin_{j}^{ι_i} \cdot 0) + 0 + (0 \cdot s_{t}^{j} + wO_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot x_{t}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial win_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial win_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (win_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial win_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (win_{j}^{ι_i} \cdot x_{t}^{ι_i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial win_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot ((1 \cdot x_{t}^{ι_i} + win_{j}^{ι_i} \cdot 0) + 0 + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot x_{t}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wIr_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial uI_{t}^{j} }{ \partial wIr_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + wIr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wIr_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + wIr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wIr_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot (0 + (1 \cdot y_{t -1}^{ι_i} + wIr_{j}^{ι_i} \cdot 0) + (0 \cdot s_{t -1}^{j} + wI_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot y_{t -1}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wFr_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial uF_{t}^{j} }{ \partial wFr_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + wFr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wFr_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + wFr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wFr_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot (0 + (1 \cdot y_{t -1}^{ι_i} + wFr_{j}^{ι_i} \cdot 0) + (0 \cdot s_{t -1}^{j} + wF_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot y_{t -1}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wOr_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial wOr_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + wOr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wOr_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + wOr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wOr_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot (0 + (1 \cdot y_{t -1}^{ι_i} + wOr_{j}^{ι_i} \cdot 0) + (0 \cdot s_{t}^{j} + wO_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot y_{t -1}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wr_{j}^{ι_i} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial wr_{j}^{ι_i} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t}^{i} + wr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + b_{j}) }{ \partial wr_{j}^{ι_i} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t}^{i} + wr_{j}^{ι_i} \cdot y_{t -1}^{ι_i} + b_{j}) }{ \partial wr_{j}^{ι_i} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot (0 + (1 \cdot y_{t -1}^{ι_i} + wr_{j}^{ι_i} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot y_{t -1}^{ι_i}
$$
$$
\frac{ \partial E }{ \partial wI_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial uI_{t}^{j} }{ \partial wI_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wI_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial wI_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot (0 + 0 + (1 \cdot s_{t -1}^{j} + wI_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot s_{t -1}^{j}
$$
$$
\frac{ \partial E }{ \partial wF_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial uF_{t}^{j} }{ \partial wF_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wF_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial wF_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot (0 + 0 + (1 \cdot s_{t -1}^{j} + wF_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot s_{t -1}^{j}
$$
$$
\frac{ \partial E }{ \partial wO_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial wO_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wO_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial wO_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot (0 + 0 + (1 \cdot s_{t}^{j} + wO_{j} \cdot 0) + 0)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot s_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial bO_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial bO_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial bO_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial bO_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot (0 + 0 + (0 \cdot s_{t}^{j} + wO_{j} \cdot 0) + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuO_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial bF_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial uF_{t}^{j} }{ \partial bF_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial bF_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t -1}^{i} + wF_{j} \cdot s_{t -1}^{j} + bF_{j}) }{ \partial bF_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot (0 + 0 + (0 \cdot s_{t -1}^{j} + wF_{j} \cdot 0) + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuF_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial bI_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial uI_{t}^{j} }{ \partial bI_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial bI_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t -1}^{i} + wI_{j} \cdot s_{t -1}^{j} + bI_{j}) }{ \partial bI_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot (0 + 0 + (0 \cdot s_{t -1}^{j} + wI_{j} \cdot 0) + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δuI_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial b_{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial u_{t}^{j} }{ \partial b_{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial b_{j} }
$$
簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } win_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wr_{j}^{i} \cdot y_{t -1}^{i} + b_{j}) }{ \partial b_{j} }
$$
微分の計算をする。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot (0 + 0 + 1)
$$
式を簡約化する。
$$
= \displaystyle \sum_{t }^{ T } δu_{t}^{j}
$$
$$
\frac{ \partial E }{ \partial u_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δs_{t}^{j} \cdot \frac{ \partial s_{t}^{j} }{ \partial u_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial u_{t}^{j} }
$$
簡約化する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial u_{t}^{j} }
$$
微分の計算をする。
$$
= δs_{t}^{j} \cdot (((σ'(uF_{t}^{j}) \cdot 0) \cdot s_{t -1}^{j} + σ(uF_{t}^{j}) \cdot 0) + ((σ'(uI_{t}^{j}) \cdot 0) \cdot σ(u_{t}^{j}) + σ(uI_{t}^{j}) \cdot (σ'(u_{t}^{j}) \cdot 1)))
$$
式を簡約化する。
$$
= δs_{t}^{j} \cdot σ(uI_{t}^{j}) \cdot σ'(u_{t}^{j})
$$
$$
\frac{ \partial E }{ \partial s_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δy_{t}^{j} \cdot \frac{ \partial y_{t}^{j} }{ \partial s_{t}^{j} } + δs_{t + 1}^{j} \cdot \frac{ \partial s_{t + 1}^{j} }{ \partial s_{t}^{j} } + δuO_{t}^{j} \cdot \frac{ \partial uO_{t}^{j} }{ \partial s_{t}^{j} } + δuF_{t + 1}^{j} \cdot \frac{ \partial uF_{t + 1}^{j} }{ \partial s_{t}^{j} } + δuI_{t + 1}^{j} \cdot \frac{ \partial uI_{t + 1}^{j} }{ \partial s_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δy_{t}^{j} \cdot \frac{ \partial (σ(uO_{t}^{j}) \cdot σ(s_{t}^{j})) }{ \partial s_{t}^{j} }
\\ + δs_{t + 1}^{j} \cdot \frac{ \partial (σ(uF_{t + 1}^{j}) \cdot s_{(t + 1) -1}^{j} + σ(uI_{t + 1}^{j}) \cdot σ(u_{t + 1}^{j})) }{ \partial s_{t}^{j} }
\\ + δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial s_{t}^{j} }
\\ + δuF_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t + 1}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{(t + 1) -1}^{i} + wF_{j} \cdot s_{(t + 1) -1}^{j} + bF_{j}) }{ \partial s_{t}^{j} }
\\ + δuI_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t + 1}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{(t + 1) -1}^{i} + wI_{j} \cdot s_{(t + 1) -1}^{j} + bI_{j}) }{ \partial s_{t}^{j} }
$$
簡約化する。
$$
= δy_{t}^{j} \cdot \frac{ \partial (σ(uO_{t}^{j}) \cdot σ(s_{t}^{j})) }{ \partial s_{t}^{j} }
\\ + δs_{t + 1}^{j} \cdot \frac{ \partial (σ(uF_{t + 1}^{j}) \cdot s_{t}^{j} + σ(uI_{t + 1}^{j}) \cdot σ(u_{t + 1}^{j})) }{ \partial s_{t}^{j} }
\\ + δuO_{t}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wOin_{j}^{i} \cdot x_{t}^{i} + \displaystyle \sum_{i }^{ Y } wOr_{j}^{i} \cdot y_{t -1}^{i} + wO_{j} \cdot s_{t}^{j} + bO_{j}) }{ \partial s_{t}^{j} }
\\ + δuF_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wFin_{j}^{i} \cdot x_{t + 1}^{i} + \displaystyle \sum_{i }^{ Y } wFr_{j}^{i} \cdot y_{t}^{i} + wF_{j} \cdot s_{t}^{j} + bF_{j}) }{ \partial s_{t}^{j} }
\\ + δuI_{t + 1}^{j} \cdot \frac{ \partial (\displaystyle \sum_{i }^{ X } wIin_{j}^{i} \cdot x_{t + 1}^{i} + \displaystyle \sum_{i }^{ Y } wIr_{j}^{i} \cdot y_{t}^{i} + wI_{j} \cdot s_{t}^{j} + bI_{j}) }{ \partial s_{t}^{j} }
$$
微分の計算をする。
$$
= δy_{t}^{j} \cdot ((σ'(uO_{t}^{j}) \cdot 0) \cdot σ(s_{t}^{j}) + σ(uO_{t}^{j}) \cdot (σ'(s_{t}^{j}) \cdot 1))
\\ + δs_{t + 1}^{j} \cdot (((σ'(uF_{t + 1}^{j}) \cdot 0) \cdot s_{t}^{j} + σ(uF_{t + 1}^{j}) \cdot 1) + ((σ'(uI_{t + 1}^{j}) \cdot 0) \cdot σ(u_{t + 1}^{j}) + σ(uI_{t + 1}^{j}) \cdot (σ'(u_{t + 1}^{j}) \cdot 0)))
\\ + δuO_{t}^{j} \cdot (0 + 0 + (0 \cdot s_{t}^{j} + wO_{j} \cdot 1) + 0)
\\ + δuF_{t + 1}^{j} \cdot (0 + 0 + (0 \cdot s_{t}^{j} + wF_{j} \cdot 1) + 0)
\\ + δuI_{t + 1}^{j} \cdot (0 + 0 + (0 \cdot s_{t}^{j} + wI_{j} \cdot 1) + 0)
$$
式を簡約化する。
$$
= δy_{t}^{j} \cdot σ(uO_{t}^{j}) \cdot σ'(s_{t}^{j}) + δs_{t + 1}^{j} \cdot σ(uF_{t + 1}^{j}) + δuO_{t}^{j} \cdot wO_{j} + δuF_{t + 1}^{j} \cdot wF_{j} + δuI_{t + 1}^{j} \cdot wI_{j}
$$
$$
\frac{ \partial E }{ \partial uI_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δs_{t}^{j} \cdot \frac{ \partial s_{t}^{j} }{ \partial uI_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial uI_{t}^{j} }
$$
簡約化する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial uI_{t}^{j} }
$$
微分の計算をする。
$$
= δs_{t}^{j} \cdot (((σ'(uF_{t}^{j}) \cdot 0) \cdot s_{t -1}^{j} + σ(uF_{t}^{j}) \cdot 0) + ((σ'(uI_{t}^{j}) \cdot 1) \cdot σ(u_{t}^{j}) + σ(uI_{t}^{j}) \cdot (σ'(u_{t}^{j}) \cdot 0)))
$$
式を簡約化する。
$$
= δs_{t}^{j} \cdot σ'(uI_{t}^{j}) \cdot σ(u_{t}^{j})
$$
$$
\frac{ \partial E }{ \partial uF_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δs_{t}^{j} \cdot \frac{ \partial s_{t}^{j} }{ \partial uF_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial uF_{t}^{j} }
$$
簡約化する。
$$
= δs_{t}^{j} \cdot \frac{ \partial (σ(uF_{t}^{j}) \cdot s_{t -1}^{j} + σ(uI_{t}^{j}) \cdot σ(u_{t}^{j})) }{ \partial uF_{t}^{j} }
$$
微分の計算をする。
$$
= δs_{t}^{j} \cdot (((σ'(uF_{t}^{j}) \cdot 1) \cdot s_{t -1}^{j} + σ(uF_{t}^{j}) \cdot 0) + ((σ'(uI_{t}^{j}) \cdot 0) \cdot σ(u_{t}^{j}) + σ(uI_{t}^{j}) \cdot (σ'(u_{t}^{j}) \cdot 0)))
$$
式を簡約化する。
$$
= δs_{t}^{j} \cdot σ'(uF_{t}^{j}) \cdot s_{t -1}^{j}
$$
$$
\frac{ \partial E }{ \partial uO_{t}^{j} }
$$
順伝播先の変数の偏微分から計算式を作る。
$$
= δy_{t}^{j} \cdot \frac{ \partial y_{t}^{j} }{ \partial uO_{t}^{j} }
$$
順伝播先の変数に定義式を代入する。
$$
= δy_{t}^{j} \cdot \frac{ \partial (σ(uO_{t}^{j}) \cdot σ(s_{t}^{j})) }{ \partial uO_{t}^{j} }
$$
簡約化する。
$$
= δy_{t}^{j} \cdot \frac{ \partial (σ(uO_{t}^{j}) \cdot σ(s_{t}^{j})) }{ \partial uO_{t}^{j} }
$$
微分の計算をする。
$$
= δy_{t}^{j} \cdot ((σ'(uO_{t}^{j}) \cdot 1) \cdot σ(s_{t}^{j}) + σ(uO_{t}^{j}) \cdot (σ'(s_{t}^{j}) \cdot 0))
$$
式を簡約化する。
$$
= δy_{t}^{j} \cdot σ'(uO_{t}^{j}) \cdot σ(s_{t}^{j})
$$
逆伝播
$$
δy_{t}^{j} = \displaystyle \sum_{j }^{ Y } δuO_{t + 1}^{j} \cdot wOr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δuF_{t + 1}^{j} \cdot wFr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δuI_{t + 1}^{j} \cdot wIr_{j}^{j} + \displaystyle \sum_{j }^{ Y } δu_{t + 1}^{j} \cdot wr_{j}^{j}
\\δuO_{t}^{j} = δy_{t}^{j} \cdot σ'(uO_{t}^{j}) \cdot σ(s_{t}^{j})
\\δwOin_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot x_{t}^{ι_i}
\\δwOr_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot y_{t -1}^{ι_i}
\\δwO_{j} = \displaystyle \sum_{t }^{ T } δuO_{t}^{j} \cdot s_{t}^{j}
\\δbO_{j} = \displaystyle \sum_{t }^{ T } δuO_{t}^{j}
\\δs_{t}^{j} = δy_{t}^{j} \cdot σ(uO_{t}^{j}) \cdot σ'(s_{t}^{j}) + δs_{t + 1}^{j} \cdot σ(uF_{t + 1}^{j}) + δuO_{t}^{j} \cdot wO_{j} + δuF_{t + 1}^{j} \cdot wF_{j} + δuI_{t + 1}^{j} \cdot wI_{j}
\\δu_{t}^{j} = δs_{t}^{j} \cdot σ(uI_{t}^{j}) \cdot σ'(u_{t}^{j})
\\δwin_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot x_{t}^{ι_i}
\\δwr_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δu_{t}^{j} \cdot y_{t -1}^{ι_i}
\\δb_{j} = \displaystyle \sum_{t }^{ T } δu_{t}^{j}
\\δuI_{t}^{j} = δs_{t}^{j} \cdot σ'(uI_{t}^{j}) \cdot σ(u_{t}^{j})
\\δwIin_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot x_{t}^{ι_i}
\\δwIr_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot y_{t -1}^{ι_i}
\\δwI_{j} = \displaystyle \sum_{t }^{ T } δuI_{t}^{j} \cdot s_{t -1}^{j}
\\δbI_{j} = \displaystyle \sum_{t }^{ T } δuI_{t}^{j}
\\δuF_{t}^{j} = δs_{t}^{j} \cdot σ'(uF_{t}^{j}) \cdot s_{t -1}^{j}
\\δx_{t}^{ι_i} = \displaystyle \sum_{j }^{ Y } δuO_{t}^{j} \cdot wOin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δuF_{t}^{j} \cdot wFin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δuI_{t}^{j} \cdot wIin_{j}^{ι_i} + \displaystyle \sum_{j }^{ Y } δu_{t}^{j} \cdot win_{j}^{ι_i}
\\δwFin_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot x_{t}^{ι_i}
\\δwFr_{j}^{ι_i} = \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot y_{t -1}^{ι_i}
\\δwF_{j} = \displaystyle \sum_{t }^{ T } δuF_{t}^{j} \cdot s_{t -1}^{j}
\\δbF_{j} = \displaystyle \sum_{t }^{ T } δuF_{t}^{j}
$$