강화학습 알고리즘 기초개요

강화학습 알고리즘을 구성하는 요소 기호

 

1. 시간 t의 상태 $S_{t}$
2. 시간 t의 행동 $A_{t}$
3. 시간 s의 행동 a의 행동 가치 함수 $Q_{\pi}(s, a)$
4. 정책 $\pi$
5. 파라미터 $\ theta$
6. 보상 R
7. Discount Factor $\gamma$
8. Epsilon Greedy $\epsilon$

---

강화학습 환경은 MDP라고 볼 수 있다.

 

MDP는 순차적인 의사결정 과정으로 써 수학적으로는 $< S, A, P, R, \gamma>$집합 으로 구성된다.

• S 는 state들의 집합
• A는 action들의 집합
• P는 trainsition probability 행렬이다. $P_{ss'}^{a} = P[S_{t+1} = s'|S_{t} = s, A_{t} = a]$
  특정 액션에서 다음 임의의 다음 액션으로 넘어갈 확률
• R은 리워드 함수이다. $R_{s}^{a} = E[R_{t+1}|S_{t} = s, A_{t} = a]$
• $\gamma$ 은 Discount Factor이다. $\gamma \in [0,1]$
  미래 보상에 대한 감쇄

---

MDP는 다음과 같은 발전과정을 가진다.

1. Markov Process(MP)
2. Markov Reward Process(MRP)
3. Markov Decision Process(MDP)

---