자연어처리(Natural Language Processing)분야는 인공지능기술중 RNN에 기반한 모델이 대부분이었다. 언어라는 것이 일련의 단어들로 이루어진다고 생각할 때 최고의 방법은 아니더라도 자연스러운 접근방법이라고 할 수 있겠다. 언어처리를 위해 문장을 단어 단위로 분해하는 tokenizing과정을 거치고 단어의 벡터화를 위한 embedding기술(Word2Vec, GloVe)을 이용하여 LSTM이나 GRU와 같은 RNN에 입력시켜 중간결과를 얻어내는 과정을 Encoder라고 하며, Encoder의 Output을 사용하여 최종출력을 얻어내는 과정을 Decoder라고 한다.… 자연어처리(NLP)-BERT 계속 읽기

Generative adversarial networks는 game theory에 기반하여 generative model을 학습하는 방법중의 하나이다. 그런, GAN을 training하는 것은 많은 패러미터를 가진 non-convex game에 대한 Nash equilibrium을 찾아내는 과정이 필요하다. GAN은 일반적으로 gradient descent technique을 이용하여 cost function의 최저값을 찾내는 optimizer를 이용하기보다는, 바람직하게는 game의 Nash equilibrium을 찾아내는 과정이 필요하다. 그러나, Nash equilibrium을 찾기위해 위 algorithm을 사용하면 수렴에 실패하는 경향이… Improved techniques for training GANs 계속 읽기

본글은 Aylien의 블로그를 메인으로 하고 그외 다른 자료를 참조하여 작성되었다. 인공지능 연구가 지향하는 바는 인공지능이 스스로 우리가 사는 세상을 인식하고 이해하는 일일 것이다. 우리 인간이 할수 있는 일은 현재 수준의 인공지능의 관점에서 볼때 엄청난 능력을 갖고 있는 것이다. 단지 속도가 느리다는 것을 제외하고. 인간은 수많은 정보를 보유한 감각기관과 두뇌와 다른 생명기능을 이용하여 정보를 저장하고 처리하며… Generative Adversarial Networks 계속 읽기