2024/06/13 8
-
그레디언트 수식 계산방식들로 2가지에, 2가지의 장단점을 합친 한가지를 말할 수 있다. Batch Gradient Descent 경사하강법의 한 스텝 업데이트 시 전체 트레이닝 데이터를 하나의 Batch로 만들어 사용하기 때문에 Batch Gradient Descent라고 부른다. 그레디언트 수식을 계산할 때, 100만개 이상의 매우 많은 손실함수 미분값을 전부 더한 뒤 평균을 취해서 파라미터를 업데이트 하게 되면 매우 큰 연산량 낭비가 일어난다. 한 스텝을 연산하는데 많은 시간이 걸리게 되고, 결과적으로 최적의 파라미터를 찾는데 오랜 시간이 걸린다.옵티마이저 시간이 매우 길어지게 된다. 한 스텝 업데이트를 위해 계산하는 손실함수의 미분값은 아래 수식으로 나타낸다. $ \frac{\partial }{\..
-
머신러닝의 프로세스는 다음 3가지 과정을 거친다. 학습하고자 하는 가설(Hypothesis) h(세타)을 수학적 표현식으로 표현가설의 성능을 측정할 수 있는 손실함수(LossFunction) J(세타)을 정의한다.손실함수 J(세타)를 최소화(Minimize)할 수 있는 학습 알고리즘을 설계한다. 선형 회귀 모델에 대입하여 생각하면 다음과 같다.선형 회귀 모델은 선형 함수를 이용해서 회귀를 수행하는 기법. 다음 가설로 표현한다. $ y = Wx + b $이 때 x 와 y는 데이터로부터 주어지는 인풋데이터, 타겟데이터 이고 W와 b는 파라미터 세타 라고 부르며, 트레이닝데이터 로부터 학습을 통해 적절한 값을 내야하는값.손실함수여러가지 형태로 정의될 수 있지만, 그중 가장 대표적인 손실 함수 중 하나는 평균 ..
