대학교 코딩공부/최적화론 8

로지스틱 회귀 데이터 처리, 특징추출 분류학습 = 두개를 포함하는 것 1. 가설함수 y = 0~1 사이에 들어간다 . 확률 2. J(0) 정의 분류기 학습 = 가설학습 가설함수 정의 J(세타) 정의 3, 내리막 경사법 분류 방향도함수 : 그레디언트 벡터에 방향 을 내적한다. u의 방향이 그레디언트 f와 같을 때 최대가 된다.

파라미터 갱신 규칙 $\theta_j = \theta_j - \alpha\frac{\partial}{\partial\theta_j} J(\theta)$ for every j - 알파 : 학습률, 작은값으로 할당한다. 경사 하강법 알고리즘이다. 알고리즘을 계산하기 위해서는 우변에 있는 J($\theta$)계산이 필요하다. 손실함수 J에서 합을 무시하고 하나의 훈련샘플에 대한 경우: 샘플 하나에 대한학습 일 경우 확률적 경사 하강 법 이 있다. 배치 경사 하강법 이 있다. 훈련 데이터의 일부분, 훈련 집합 전체를 사용 등을 사용한다.

손실함수 J(0) [ Ross fungtion ] $J( \theta ) = \frac{1}{2} \Sigma_i (h_\theta(x^{(i)})-y^{(i)})^2 = \frac{1}{2} \Sigma_i (\theta^ \top x^{(i)}-y^{(i)})^2$ 추정치와 측정치의 오차를 표현한 식이다. 추정치와 측정치를 뺸 값을 데이터에 대한 값을 전부 더하고 2로 나눈다. 결국 손실함수 = 오차 의 합 이다. 이 손실함수 출력이 가장 작아야 한다. J세타의 값이 가장 작아지도록 하는 세타 값을 찾아야 한다. 손실함수는 작을수록 좋다. 파라미터 계산법 Full Serching Strategy ( 풀 서치 방법 ) 코드 그대로 모든 값을 다 넣어서 비교해보는것. 그러나, 계산양이 너무 많기 떄문에,..

거실 면적과 집 가격 사이의 선형회귀 가격정보의 관계를 측정하자. Living area(feet2) Price(1000$s) 2014 400 1600 330 2400 369 1416 232 3000 540 ... ... 2차 평면상에 마킹이 가능하다. 어떠한 임의의 값에 대한 출력값을 예측하는 기법 = 선형회귀 선형회귀 = 주어진 데이터로 부터 그 데이터를 가장 잘 표현할 수 있는 라인 한개를 찾는 것. 여기서 추정한 라인과 수집된 데이터 간의 오차가 크다 라면 옳은 라인이 아니다. 이런 2차원 방정식에서 직선 말고도 2차함수가 사용 될 수 있는데, 이러한 2차함수를 사용한 그래프를 Training Set : M개의 거실면적, 가격정보 쌍 y =$h_0 (x) $ : 피라미터 로 모델링 된 가설 함수 ..

분류기 구현 ( Classifier ) 구현 특징 추출을 분류하기 위해 선, 평면, 또는 초평면 방정식의 피라미터를 추정하는 과정 대표적인 방법 : Logistic Regression, Neural Networks, SVM 피쳐백터 간의 구분지을 수 있는 라인을 찾는 것. 2차원 공간 상 에서는 하나의 선 을 찾는것. 3차원 공간상 , N차원 공간 상에서는 원하는 하나의 공간 또는 면을 찾게된다. 분류기 구현 단계 구현 과정 데이터를 훈련집합, 테스트 집합으로 분류한다. 일반적으로 5:5 또는 7:3 정도의 비율로 나눈다. 훈련집합 : 분류기를 만들때에 사용, 테스트 집합 : 분류기를 만들고 난 후 성능 평가에 사용. 분류기의 종류 모델 선택 : 어떤 수학적 모델을 사용할 것 인지 결정. ( 선형, 비선..

특징 추출 ( Feature Extraction ) 서로 다른 부류에 속한 데이터를 구별짓기 위해 필요한 특징을 설계하고 추출하는 과정. 사람의 얼굴에서 안경을 썼냐, 머리 스타일이 어떠냐, 코의 모양은 어떠냐 등의 데이터를 뽑아내서 분류를 가장 잘 할 수 있는지를 결정 하는 특징을 추출하는것. ex) 특징 = 피부색, 눈 크기, 입술 크기 특징 벡터 X = {$x_1,x_2,x_3$} 특징 벡터의 차원 = 3차원 일정 눈, 피부색, 입술크기가 각각 0에 가까울수록 작음 0에 가까울수록 검정색임 0에 가까울수록 작음 으로 한다고 하면, 데이터 값의 학습을 축적 할 수 있다. A라는 사람이 있다고 하면, $X^1 =(x_1,x_2,x_3) = (0.854,0.221,0.134)$ 이런식 으로 추출 할 수 ..