12주차 선형회귀 손실함수

손실함수 J(0) [ Ross fungtion ]

$J( \theta ) =   \frac{1}{2} \Sigma_i (h_\theta(x^{(i)})-y^{(i)})^2 = \frac{1}{2} \Sigma_i (\theta^ \top x^{(i)}-y^{(i)})^2$

추정치와 측정치의 오차를 표현한 식이다.

추정치와 측정치를 뺸 값을 데이터에 대한 값을 전부 더하고 2로 나눈다.

 

결국 손실함수 = 오차 의 합 이다.

 

이 손실함수 출력이 가장 작아야 한다. J세타의 값이 가장 작아지도록 하는 세타 값을 찾아야 한다.

손실함수는 작을수록 좋다.

 

파라미터 계산법

Full Serching Strategy ( 풀 서치 방법 )

 

코드 그대로 모든 값을 다 넣어서 비교해보는것.

그러나, 계산양이 너무 많기 떄문에, 실제로 계산할 수 없다.

 

이런 서치를 최소화시키면서 최대의 효율을 보여야 한다. 이걸 최적화 기법 이라고 한다.

Optirnitation

 

최적화 기법

적용 분야 : 기계학습, 빅데이터 분석, 음성인식, 영상처리 등

1단계 : 최적화 문제로 공식화 한다 $J(\theta)$ 를 정의한다.

 

2단계 :  $J(\theta)$  를 최대, 또는 최도로 하는 $\theta$를 찾는다.

 

내리막 경사법

내리막 경사법은 J세타를 최소화 하는 알고리즘 방법이다.

이것을 어떻게 업데이트 시켜야 하는가?

오르막 경사법은 J세타를 최대화 하는 알고리즘 방법이다.