Back Propagation Through Time(BPTT)

unfolded의 RNNs 구조에서 Weight들을 위와 같이 표시한다고 하자.

$\begin{equation*} e_{o}(t)=d(t)-y(t) \end{equation*}$

위의 오차에 대해서 아래와 같이 수정 Hiden Layer에서 Output간의 가중치 W

$\begin{equation*} W(t+1)=W(t)+\eta s(t)e_{o}(t)^T \end{equation*}$

---

$\begin{equation*} e_h(t)=d_h(e_{o}(t)^TV,t) \end{equation*}$

위의 오차에 대해서 아래와 같이 수정 Hidden Layer에서 Hidden Layer의 가중치 V

$\begin{equation*} V(t+1) = V(t)+\eta x(t)e_{h}(t)^T \end{equation*}$

---

Input Layer에서 Hidden Layer로 순환되는 경로의 가중치 U

$\begin{equation*} U(t+1) = U(t)+\eta s(t-1)e_{h}(t)^T \end{equation*}$

위의 세식을 연결 시켜 아래와 같이 표현

$\begin{equation*} W(t+1)=W(t)+\eta s(t)e_{o}(t)^T \end{equation*}$

$\begin{equation*} e_h(t-\tau-1)=d_h(e_{h}(t - \tau)U,t-\tau-1) \end{equation*}$

$\begin{equation*} V(t+1) = V(t)+\eta \sum_{z=0}^{T}x(t-z)e_{h}(t-z)^T \end{equation*}$

$\begin{equation*} U(t+1) = U(t)+\eta \sum_{z=0}^{T}s(t-z-1)e_{h}(t-z)^T \end{equation*}$