MP(Markov Process)

MP(Markov Process)

MP는 상태s 와 상태 전이(state trainsition)확률 $ P_{ss'} $ 로 구성된 환경이다.

 

$ MP(Markov Process) = < S, P > $

 

예를 들어 아래 MP(MarkovProcess)는 맑음 $ s_{1} $ 과 흐림 $ s_{2} $ 2가지 상태로 구성된다.

 

Markov Process는 markov Property를 따른다. MarkovProperty는

 

다음 상태를 결정하는데 오직 바로 이전 상태만 고려한다는 가정

이다.

$ P[s_{t}|s_{t}] = P[s_{t+1}|s_{1},s_{2}, ... , s_{t}] $

 

즉, 바로 이전 상태 이전에 어떤 상황을 거쳐서 현재 상태에 도달했든 $ (s_{1}, s_{2}, s_{2}, s_{1} = s_{2}, s_{1}, s_{1}, s_{1} = s_{2}, s_{2}, s_{2}, s_{1} ) $ 현재 상태 $ (s_{t}) $ 만을 기준으로 미래의 상태 변화를 예측한다는 가정이다.