General AI developing platform

인간이 프로그래밍을 통해 기계에 모든 행동을 입력하지 않고도 인공지능 스스로 인간이 수행하는 복잡한 일을 수행할 수 있도록 하는 것이 목표라고 할때, 그 목표를 위한 첫걸음은 test bed를 충분히 마련하는 것일 것이다. 이런 공감대에 호응하여, 인공지능 성능을 테스트 할 수 있는 실험실이 마련되어 있고 그것을 일반인에게 공개하고 있다. 그 중 유명한 곳을 아래 소개하였다. Universe by OpenAI… General AI developing platform 계속 읽기

Neural Networks

본글은 Hugo Larochelle(Tweeter, Inc.)의 Neural Networks강의를 요약/재해석한 것이다.   Neural Network를 이해하기 위해서는 NN의 perceptron이라고 불리우는 기본 구조에 대한 이해로 부터 시작해야 한다. Perceptron은 여러개의 binary input을 입력으로 받고 하나의 binary output을 생성하는 구조로 되어 있다. 이 perceptron의 기능은  weights 도입을 시작으로 수행된다. weights는 입력과 출력과의 관계를 선형적으로 나타내는 패러미터이며 각 입력이 출력에 미치는 영향의… Neural Networks 계속 읽기

LSTM and GRU

RNN에서의 문제들 본글은 Yoshua Bengio(Univ. of Montreal)의 RNN강의를 요약/재해석한 것이다. RNN의 장점은 시퀀스상 앞서는 입력에 대한 정보를 활용하여 현재 state의 출력을 예측할 수 있다는 점이다. 그러나, 이러한 장점이 발휘되려면 RNN 구조의 안정성이 담보되어야 한다. Yoshua Benjio는 MIT에 있을때 RNN구조가 가끔 학습을 하지 못한다는 점을 발견하고, 그 원인을 알아내기 위해 고민했던 모양이다. 그는 단일 뉴런과 tanh()… LSTM and GRU 계속 읽기

Tensorflow

구글의 Tensorflow는 현재 가장 핫한 deep learning platform이다. Tensorflow의 전반적 인상은 Theano에서 사용하는 알고리즘의 정의와 실행을 분리한 개념을 차용한 것으로 생각된다. 일반적 프로그래밍 지식을 가진 사람이 곧 바로 이 개념을 이해하기는 쉽지 않지만, 아래는 Tensorflow를 한마디로 설명하는 내용으로, 출처를 기억하지는 못하지만 Tensorflow를 한마디로 잘 설명한것이라 개인적으로 메모한 것이다. Tensorflow separates the definition of computations from their… Tensorflow 계속 읽기

Deep Learning Frameworks

Deep Learning을 위한 플랫폼경쟁이 치열하다. 최근 사용자들을 대상으로 한 서베이에 따르면 기존 강자는 여전히 사랑을 받고 있지만, Google의 플랫폼인 Tensorflow가 단숨에 1위 자리를 차지한것을 보면 Google의 영향력은 대단하고 볼 수 밖에 없다. 각 플랫폼은 주도권을 놓치지 않기 위해 인공지능 분야의 구루(guru)들을 경쟁적으로 영입하고 있으며, 연구결과물에 대한 소스를 공개하여 사용자층을 넓히려는 시도를 하고 있다.  오늘날의 open-source… Deep Learning Frameworks 계속 읽기

Recurrent Neural Network Architectures

본글은 Yoshua Bengio(Univ. of Montreal)의 RNN강의를 요약/재해석한 것이다. Simple RNN Architectures 정적인 NN(Neural Network)와 대비해서 RNN(Recurrent Neural Network)의 기본 개념을 이해하기 위해서는  가장 기본적 RNN의 개념을 이해할 필요가 있다. Simple RNN의 구조를 아래 그림과 같이 표현할 수 있다. 기본 단위를 살펴보면, RNN에서의 S(t)는 현재 입력(current input) x(t)와 이전 State(previous state)인 S(t-1)가 변수인 함수로 표현된다. 현재… Recurrent Neural Network Architectures 계속 읽기

Reinforcement Learning & Deep Learning

Combining Reinforcement Learning and Deep Learning techniques works extremely well. Both fields heavily influence each other. On the Reinforcement Learning side Deep Neural Networks are used as function approximators to learn good representations, e.g. to process Atari game images or to understand the board state of Go. In the other direction, RL techniques are making… Reinforcement Learning & Deep Learning 계속 읽기

그다지 흥미롭지 않은 블로그를 시작하며…

자연현상에 대한 이해는 인류의 영원한 꿈이다. 인류의 생존에 직접적 영향을 미치는 자연현상의 이해로 부터 시작하여 양자역학과 우주에 대한 연구까지 그 범위가 소립자로 부터 우주에 이르는 광범위한 영역을 이해하고자 노력한다. 자연현상에 대한 이해력이 인류 진화에 큰 역할을 했으며, 여러 인류 조상의 출현과 멸종을 살펴볼때 현생인류인 호모 사피엔스가 유일하게 생존한 이유는 가장 높은 수준으로 자연현상을 이해했고, 그것을… 그다지 흥미롭지 않은 블로그를 시작하며… 계속 읽기