728x90
손실함수 J(0) [ Ross fungtion ]
$J( \theta ) = \frac{1}{2} \Sigma_i (h_\theta(x^{(i)})-y^{(i)})^2 = \frac{1}{2} \Sigma_i (\theta^ \top x^{(i)}-y^{(i)})^2$
추정치와 측정치의 오차를 표현한 식이다.
추정치와 측정치를 뺸 값을 데이터에 대한 값을 전부 더하고 2로 나눈다.
결국 손실함수 = 오차 의 합 이다.
이 손실함수 출력이 가장 작아야 한다. J세타의 값이 가장 작아지도록 하는 세타 값을 찾아야 한다.
손실함수는 작을수록 좋다.
파라미터 계산법
Full Serching Strategy ( 풀 서치 방법 )
코드 그대로 모든 값을 다 넣어서 비교해보는것.
그러나, 계산양이 너무 많기 떄문에, 실제로 계산할 수 없다.
이런 서치를 최소화시키면서 최대의 효율을 보여야 한다. 이걸 최적화 기법 이라고 한다.
Optirnitation
최적화 기법
적용 분야 : 기계학습, 빅데이터 분석, 음성인식, 영상처리 등
1단계 : 최적화 문제로 공식화 한다 $J(\theta)$ 를 정의한다.
2단계 : $J(\theta)$ 를 최대, 또는 최도로 하는 $\theta$를 찾는다.
내리막 경사법
내리막 경사법은 J세타를 최소화 하는 알고리즘 방법이다.
이것을 어떻게 업데이트 시켜야 하는가?
오르막 경사법은 J세타를 최대화 하는 알고리즘 방법이다.
728x90
'대학교 코딩공부 > 최적화론' 카테고리의 다른 글
14주차 로지스틱 회귀 (0) | 2022.12.03 |
---|---|
13주차 선형회귀 파라미터 추정 (0) | 2022.11.30 |
11주차 Linear & Logistic Regression ( 선형 회귀 ) (0) | 2022.11.13 |
최적화론 10주차 (분류기 구현 단계) (0) | 2022.11.05 |
최적화론 9주차 특징 추출 (0) | 2022.10.26 |