with-RL

'바닥부터 배우는 강화 학습' 10장에는 MCTS(Monte Carlo Tree Search)의 개념과 알파고에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 10장 알파고와 MCTS 10.1 알파고 알파고는 2016년 3월에 이세돌과 바둑을 뒀던 버전 학습(learning) 단계 ◦ 이세돌을 만나기 전에 이루어지는 과정 ◦ 이후 단계에서 사용될 재료들을 미리 만들어 두는 과정 플래닝(decision-time planning) ◦ 이세돌과의 대국 도중에 실시간으로 이루어지는 과정 ◦ 알파고 차례가 되었을 때 어디에 바둑알을 놓을지 고민하는 과정 ◦ 알파고는 실시간 플래닝 알고리즘으로 MCTS(Monte Carlo Tree S..

'바닥부터 배우는 강화 학습' 4장에는 MDP를 알고 있는 경우 정책을 발전시키는 플래닝 방법에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 4장 MDP를 알 때의 플래닝 동영상: https://www.youtube.com/watch?v=rrTxOkbHj-M&t=29s 전제조건 다음 두 조건이 만족하는 상황 ◦ 작은 문제 ◦ MDP를 알 때 플래닝(planning): MDP에 대한 모든 정보를 알 때 이를 이용하여 정책을 개선해 나가는 과정 4.1 밸류 평가하기 - 반복적 정책 평가 반복적 정책 평가(Iterative policy evaluation) 방법을 통해 각 상태 $s$에 대한 가치 함수 $v(s)$ 계산 가능 위..

'바닥부터 배우는 강화 학습' 3장에는 밸류를 구할 수 있는 벨만 방정식과 벨만 최적 방정식에 대해서 설명하고 있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 3장 벨만 방정식 동영상: https://www.youtube.com/watch?v=NMesGSXr8H4 (후반부) 벨만 방정식 밸류를 계산할 때 벨만 방정식을 이용해서 구함 벨만 방정식은 시점 $t$에서의 밸류와 시점 $t+1$에서의 밸류 사이의 관계를 다루며 또 가치 함수와 정책 함수 사이의 관계도 다룸 재귀 함수 벨만 방정식은 기본적으로 재귀적 관계에 대한 식 재귀 함수는 자기 자신을 호출하는 함수 피보나치수열(0, 1, 1, 2, 3, 5, 8, 13, 21, ...)의 재귀적인..

'바닥부터 배우는 강화 학습' 2장에는 중요한 기본 개념들을 설명하고 있습니다. 예전에 혼란스러웠던 내용인데 명쾌하게 잘 설명이 돼있습니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 2장 마르코프 결정 프로세스 동영상: https://www.youtube.com/watch?v=NMesGSXr8H4 2.1 마르코프 프로세스 (Markov Process) ◈ 아이가 잠이 드는 마르코프 프로세스 위 그림의 예는 상태의 종류는 총 5가지, 매 1분마다 다음 상태로 상태 전이(state transition) ◦ $s_0$: 누워있는 상태. 시작 상태 ◦ $s_1$: 일어나서 노는 상태 ◦ $s_2$: 눈을 감은 상태 ◦ $s_3$: 서서히 잠이 오는 상태..

강화 학습 공부를 다시 시작합니다. 예전에 관심 있게 봤던 팡요랩의 저가가 쓰신 '바닥부터 배우는 강화 학습'을 첫 번째 공부 교재로 사용하려고 합니다. 아래 내용은 공부하면서 핵심 내용을 정리한 것입니다. 참고자료 도서: 바닥부터 배우는 강화 학습 / 1장 강화 학습이란 동영상: https://www.youtube.com/watch?v=NMesGSXr8H4 1.1 지도 학습과 강화 학습 ◈ 기계 학습의 분류 기계학습 (machine learning) ◦ 강화 학습(reinforcement learning): 지도자의 도움 없이 혼자서 수많은 시행착오(Trial and Error)를 거치면서 학습하는 방법 ◦ 지도 학습(supervised learning): 아버지가 아들에게 자전거 타는 방법을 가르쳐 ..