LSTM and GRU

RNN에서의 문제들 본글은 Yoshua Bengio(Univ. of Montreal)의 RNN강의를 요약/재해석한 것이다. RNN의 장점은 시퀀스상 앞서는 입력에 대한 정보를 활용하여 현재 state의 출력을 예측할 수 있다는 점이다. 그러나, 이러한 장점이 발휘되려면 RNN 구조의 안정성이 담보되어야 한다. Yoshua Benjio는 MIT에 있을때 RNN구조가 가끔 학습을 하지 못한다는 점을 발견하고, 그 원인을 알아내기 위해 고민했던 모양이다. 그는 단일 뉴런과 tanh()… LSTM and GRU 계속 읽기

Recurrent Neural Network Architectures

본글은 Yoshua Bengio(Univ. of Montreal)의 RNN강의를 요약/재해석한 것이다. Simple RNN Architectures 정적인 NN(Neural Network)와 대비해서 RNN(Recurrent Neural Network)의 기본 개념을 이해하기 위해서는  가장 기본적 RNN의 개념을 이해할 필요가 있다. Simple RNN의 구조를 아래 그림과 같이 표현할 수 있다. 기본 단위를 살펴보면, RNN에서의 S(t)는 현재 입력(current input) x(t)와 이전 State(previous state)인 S(t-1)가 변수인 함수로 표현된다. 현재… Recurrent Neural Network Architectures 계속 읽기