Soft Actor-Critic

RL에서 exploration과 exploitation간의 trade-off는 자주 얘기되는 문제이다 보니exploration이 중요한 환경에서 인공지능이 local optimum에 빠져버리는 문제를 해결하기 위한 노력이 많이 있다. 이러한 문제를 해결하기 위해 action 선택에 있어 인센티브를 주는 형태로 새로운 환경으로 유도하는 방법(Curiosity-Driven Learning)을 사용하기도 한다. 보통 새로운 RL 모델이 나오면 다양한 게임환경에서 벤치마크테스트를 수행하는데, 여기서 매우 낮은 점수를 보이는 게임이 대부분 exploitation이 중요한… Soft Actor-Critic 계속 읽기

자연어처리(NLP)-BERT

자연어처리(Natural Language Processing)분야는 인공지능기술중 RNN에 기반한 모델이 대부분이었다. 언어라는 것이 일련의 단어들로 이루어진다고 생각할 때 최고의 방법은 아니더라도 자연스러운 접근방법이라고 할 수 있겠다. 언어처리를 위해 문장을 단어 단위로 분해하는 tokenizing과정을 거치고 단어의 벡터화를 위한 embedding기술(Word2Vec, GloVe)을 이용하여 LSTM이나 GRU와 같은 RNN에 입력시켜 중간결과를 얻어내는 과정을 Encoder라고 하며, Encoder의 Output을 사용하여 최종출력을 얻어내는 과정을 Decoder라고 한다.… 자연어처리(NLP)-BERT 계속 읽기