Meta Learning분야에서 유명한 논문중에 Model-Agnostic Meta Learning이라는 논문이 있다. Agnostic이라는 단어가 특이해서 기억하고 있는데, 같은 단어를 사용하는 논문이 발표되었다. 매우 흥미로운 논문이라 소개하고자 한다. 이 글의 제목이 그 논문의 제목이다. 이 논문의 촛점은 Neural Network Architecure(구조)에 관한 내용이다. 우리는 이미지 분야의 신경망에 매우 다양한 신경망이 개발되었고 그 신경망마다 고유의 이름을 갖고 있다는 것을 알고 있다.… Weight Agnostic Neural Networks 계속 읽기
[카테고리:] Deep Neural Network
Transfer Learning : TensorFlow Hub
Google은 최근 TensorFlow Hub이라는 library를 발표하고, transfer learning이 용이하도록 library를 제공하였다. 기존에 개발된 많은 모델과 dataset을 이용하여 이미 학습된 정보를 모두 포함하고 있는 module을 그대로 차용하여 다른 프로젝트에 활용하는 것이 transfer learning의 핵심 개념이다. 이러한 방법이 없다면, Deep Learning을 통한 application 개발은 많은 데이터와 연산능력을 확보한 조직의 전유물이 될수 밖에 없을 것이다. 다행스럽게 이 모든… Transfer Learning : TensorFlow Hub 계속 읽기
Google Object Detection API
여전히 관심 있는 분야에 대해 시간 나는데로 자료을 읽고 공부하지만 블로그에 올리지 않았다. 사실 시간이 부족한 상황에서 블로그에 글쓰는 시간 조차도 아깝다는 생각이 들기도 하지만… 정리를 한다는 면에서는 블로그에 계속 글을 올리는 것이 좋다는 생각에는 변함이 없다. Google은 작년에 자신들이 개발해 놓은 Object Detection(사물인식) API를 공개했다. 이미지 인식용으로 개발된 수많은 CNN 모델을 쉽게 사용할 수… Google Object Detection API 계속 읽기
Deep Recurrent Q-Learning
이번 포스팅은 Reinforcement Learning의 Deep Q-Network (DQN)와 연관이 있는 내용이다. 이것은 본질적으로 전에 포스팅한 Recurrent Convolutional Network의 reinforcement learning분야 활용예라고 생각해도 좋을것이다. DQN을 소개하는 포스팅에서 DQN은 state는 screen image이고 game(environment)의 dynamics을 고려하기 위해 4개의 frame을 사용한다고 언급하였다. 그렇다면, 4개의 frame 정보로 이루어진 현재의 state정보로는 agent의 적절한 action을 결정하기에 정보량이 부족한 경우라면, DQN이 게임을 마스터하기 어려울것이다.… Deep Recurrent Q-Learning 계속 읽기
3D Convolutional Networks
그 동안 ConvNets는 주로 2D image 또는 video를 입력으로 사용하여 많은 분야에 활용되었다. 그러나 deep learning과 computation power의 잠재력을 융합한다면 차원을 확장하여 사용할 수 있도록 해준다. 여기서 소개할 논문은 2D convolution대신 3D convolutional networks (3D ConvNets)을 사용하여 시공간(spatiotemporal) feature를 인식하는 방법에 관한 것이다. (여기서 3차원 데이터를 입력으로 사용한다는 것이 3차원 공간 data를 사용한다는 것을 의미하지… 3D Convolutional Networks 계속 읽기
Recurrent Convolutional Networks
인공지능이 이미지를 분석하고 판단하는 일에 매우 뛰어난 성능을 보이며, chatbot에서 짐작할 수 있듯이 자연어 처리분야에서도 뛰어난 능력을 보여주고 있다. 이미지 관련된 능력은 CNN(Convolutional Neural Networks)의 영역이고, 자연어 처리능력부분은 RNN(Recurrent Neural Networks)이 뛰어난 성능을 보여주고 있다. 두 신경망 구조는 인공지능의 비약적 발전에 큰 기여를 한만큼 이 두 구조의 장점을 모두 활용할 수 있는 분야가 이미지나 비디오의… Recurrent Convolutional Networks 계속 읽기
End to End Learning for Self-Driving Cars
자율주행차(Self-driving car)가 세간의 화제이다. 자율주행차는 인공지능 응용분야에서 경제적 파급효과가 클뿐더러, 일반인이 인공지능이 우리 생활에 미칠 수 있는 영향을 체감할 수 있다는 점에서 상징적 의미도 큰 프로젝트라고 생각한다. 자율주행 기술은 자동차가 스스로 주행에 필요한 정보를 입력받고 그 정보에 근거하여 주행에 필요한 행동을 인간과 같은 또는 더 나은 수준으로 할 수 있도록 하는 정보처리 및 컨트롤 시스템이다.… End to End Learning for Self-Driving Cars 계속 읽기
Convolutional Neural Networks
CNN관련 가장 유명한 자료가 Stanford University의 CS231n강좌이다. 이 강좌는 워낙 유명해서 인지 neural network를 공부하는 사람들이 대부분 참고하는 자료이므로 AI Korea team이 이강좌를 한글로 번역 작업을 수행하였고 그 결과를 아래 사이트에 올려 놓았다. 영어에 문제가 없는 사람은 github에 올라와 있는 사이트를 참조해도 좋다. 같은 내용을 또다시 번역할 필요는 없으므로 추가 설명이 필요한 부분에 대한 설명이나,… Convolutional Neural Networks 계속 읽기
Backpropagation을 이해해야 하는 이유
우리가 deep learning를 수행하고자 할 때 이용하는 frameworks에는 deep learning에 필요한 필수적인 함수나 class들이 포함되어 있어서, deep learning의 알고리즘에 집중하게 도와주고, 수학적 기법과 같은 디테일에 대해 코딩해야 하는 수고로움을 덜어 준다. 이처럼 deep learning의 최종 목적지를 위한 tool인 이optimizer 자체의 알고리즘이나 optimizer를 구동하기 위한 gradient 값을 구하는 수고를 덜어 준다는 것은 deep learning 개발자들에게는 매우… Backpropagation을 이해해야 하는 이유 계속 읽기
Neural Networks
본글은 Hugo Larochelle(Tweeter, Inc.)의 Neural Networks강의를 요약/재해석한 것이다. Neural Network를 이해하기 위해서는 NN의 perceptron이라고 불리우는 기본 구조에 대한 이해로 부터 시작해야 한다. Perceptron은 여러개의 binary input을 입력으로 받고 하나의 binary output을 생성하는 구조로 되어 있다. 이 perceptron의 기능은 weights 도입을 시작으로 수행된다. weights는 입력과 출력과의 관계를 선형적으로 나타내는 패러미터이며 각 입력이 출력에 미치는 영향의… Neural Networks 계속 읽기
Simulation | ML 