728x90
파라미터 갱신 규칙
$\theta_j = \theta_j - \alpha\frac{\partial}{\partial\theta_j} J(\theta)$ for every j
- 알파 : 학습률, 작은값으로 할당한다.
경사 하강법 알고리즘이다.
알고리즘을 계산하기 위해서는 우변에 있는 J($\theta$)계산이 필요하다.
손실함수 J에서 합을 무시하고 하나의 훈련샘플에 대한 경우:
샘플 하나에 대한학습 일 경우
확률적 경사 하강 법 이 있다.
배치 경사 하강법 이 있다.
훈련 데이터의 일부분, 훈련 집합 전체를 사용 등을 사용한다.
728x90
'대학교 코딩공부 > 최적화론' 카테고리의 다른 글
| 14주차 로지스틱 회귀 (0) | 2022.12.03 |
|---|---|
| 12주차 선형회귀 손실함수 (0) | 2022.11.17 |
| 11주차 Linear & Logistic Regression ( 선형 회귀 ) (0) | 2022.11.13 |
| 최적화론 10주차 (분류기 구현 단계) (0) | 2022.11.05 |
| 최적화론 9주차 특징 추출 (0) | 2022.10.26 |