앞서 소개한 A* method로도 훌륭하지만, 이번 포스팅은 다양한 문제에 범용적으로 사용 가능한 강화학습(Reinforcement Learning)기법인 Dynamic Programming을 사용하여 최적 path을 찾아내는 방법에 대한 글이다. RL을 구현하는데 가장 많이 사용하는 environment중의 하나가 grid world이므로, 최적 path를 찾는 환경이 이와 비슷하고, DP가 motion planning에 적용 가능하다는 것은 알 수 있다. Path search의 경우, DP의 reward개념보다는 cost 개념을 도입한다.… Motion Planning : Dynamic Programming 계속 읽기
[작성자:] jayyang
공학박사, research engineer, travel lover/
This is my personal blog for posting and sharing my research projects.
Motion Planning : A*
움직이는 자동차/로봇은 필연적으로 위치를 알아야 할 필요가 있으므로 Localization을 위한 3가지 filter에 대해 알아보았다. 그 다음 단계는 무었일까? 그것은 목표지점으로 빠르고 효과적인 방법으로 찾아가는 루트를 설정하는 일이다. 이것을 motion planning이라고 하며, 중요한 분야이다 보니 다양한 방법들이 제시되어 있다. 가장 간단한 방법은 현재 위치와 목표지점의 위치를 파악하여 목표지점의 방향으로 로봇이 진행하도록 하는 방법을 생각해 볼 수… Motion Planning : A* 계속 읽기
Localization : Particle filter
앞서 histogram filter와 Kalman filter에 대해 알아 보았다. 특히 Kalman filter의 경우 Gaussian distribution을 보이는 state distribution과 measurements distribution의 이론적 해를 사용하여 계산할 수 있었다. 이번에는 이론적 해를 구하기 까다로운 경우는 접근하는 방법을 소개하고자 한다. 제목과 같이 particle filter를 사용하는 방법이다. 이론적 해를 구하기 어려울 때 사용한다고 하더라도, 개념을 표현하는 수식은 있다. 다른 filter에도 동일하게… Localization : Particle filter 계속 읽기
Car Kinematics
로봇에 대해 자료를 조사하다 보면 로봇카에 대한 내용이 많다. 아무래도 알고리즘 테스트가 다른것에 비해 용이하고, 실제 제작하여 실증해보기 편하기 때문일 것이다. 이번 포스팅은 이와 관련하여 기본적 주행로봇/자동차의 dynamics에 대해 다루고자 한다. Unicycle 곡예사가 바퀴가 하나달린 자전거를 타는 것을 상상해 보자. 이 자전거를 해석하는 것이 위 그림과 같은 unicycle에 대한 모델이다. 하나의 바퀴가 회전하는 속도는 속력과… Car Kinematics 계속 읽기
Localization : Kalman filter
앞서 포스팅한 Histogram filter와 같이 Kalman filter도 관측데이터로 부터 위치를 예측하는 방법에 자주 등장한다. Kalman filter는 공학분야에서 매우 다양하게 사용하므로 매우 중요한 위치를 차지하며, 널리 알려지진 않았지만 인류 기술발전에 지대한 공헌을 한 사람으로 이 filter를 제안한 Kalman이 선정되었다는 기사를 본 기억이 있다. Kalman filter는 일종의 control system을 포함한 dynamics system의 선형 미분방정식의 해를 구하는 방법이라고… Localization : Kalman filter 계속 읽기
Localization : Histogram filter
움직이는 물체가 자신의 위치를 정확히 파악하는 것은 매우 중요한 작업이다. 우리가 지도를 사용하고 GPS navigation를 사용하는 것은 바로 자신의 위치를 파악하기 위해서이다. 움직이는 로봇을 공부하면서 접한 개념이지만 localization은 생각보다 쉽지 않은 작업이다. 자율 주행차에서 매우 중요한 분야의 하나이기도 하다. 주변 환경에 대한 정보가 있는 상태에서 움직이는 물체가 센서를 통해 정보를 얻어 현재 자신의 위치가 어디인지… Localization : Histogram filter 계속 읽기
유용한 확률(Probability) 이론
확률이론은 게임이나 주식등 우리 인간이 불확실성에 대해 인정하는 부분에 사용되는 매우 중요한 수학이다. 확률이론이 어렵다고 느끼는 일면에는 인간은 불확실한것보다 쉽게 예측가능하고 규정지을 수 있는 것을 더 선호하기 때문일지도 모른다. 이런 대상의 이론적 추론 방법론을 구분하기 위해 “deterministic”과 “Stochastic”이라는 단어를 여러 분야에서 사용한다. 세상은 불확실한것이 많으므로 이것을 수학적 추론에 반영하기 위해서는 반드시 확률의 개념이나 분포(distribution)의 개념이… 유용한 확률(Probability) 이론 계속 읽기
일본 영화 몇편
가끔 영화를 몰아 볼 기회가 생기면 좋다. 지금이 그때이다. “너의 이름은”은 일부러 혼자 보러 갔다. 그 이후 영화, 특히 일본 영화를 많이 봤다. 좋은 영화가 많다. 아래는 그 중의 몇개이다. 앙: 단팥 인생 이야기 벛꽃을 좋아하는 도쿠에 할머니의 인생이야기. 일본 영화는 소소함에서 메시지를 전하는데 탁월한 것 같다. 나병이라는 멍에를 지고 평생 평범한 삶과 격리되어 살아온… 일본 영화 몇편 계속 읽기
다시 간 오키나와
오키나와는 3년전 겨울에 간 경험이 있다. 기대를 크게 하지 않았지만, 바다와 경치가 아름다워 다시 한번 오리라 마음 먹은적이 있다. 오키나와는 일본의 제주도라 불리우는 장소라 일본 본토사람도, 한국사람도, 중국사람도 적당히 섞여서 관광하는 곳이다. 이번 여행은 관광보다는 어지러운 마음을 정리하고 에메랄드 빛 바다와 이른 벛꽃 보기 위한 여행이었다. 58번 해안 도로를 달리면서 바라본 바다도 이미 아름다웠으나, 주로… 다시 간 오키나와 계속 읽기
Deep Recurrent Q-Learning
이번 포스팅은 Reinforcement Learning의 Deep Q-Network (DQN)와 연관이 있는 내용이다. 이것은 본질적으로 전에 포스팅한 Recurrent Convolutional Network의 reinforcement learning분야 활용예라고 생각해도 좋을것이다. DQN을 소개하는 포스팅에서 DQN은 state는 screen image이고 game(environment)의 dynamics을 고려하기 위해 4개의 frame을 사용한다고 언급하였다. 그렇다면, 4개의 frame 정보로 이루어진 현재의 state정보로는 agent의 적절한 action을 결정하기에 정보량이 부족한 경우라면, DQN이 게임을 마스터하기 어려울것이다.… Deep Recurrent Q-Learning 계속 읽기
Simulation | ML 