최적화론 10주차 (분류기 구현 단계)

분류기 구현 ( Classifier ) 구현

특징 추출을 분류하기 위해 선, 평면, 또는 초평면 방정식의 피라미터를 추정하는 과정

• 대표적인 방법 : Logistic Regression, Neural Networks, SVM

 

피쳐백터 간의 구분지을 수 있는 라인을 찾는 것.

 

2차원 공간 상 에서는 하나의 선 을 찾는것.

3차원 공간상 , N차원 공간 상에서는 원하는 하나의 공간 또는 면을 찾게된다.

 

분류기 구현 단계

구현 과정

데이터를 훈련집합, 테스트 집합으로 분류한다.

일반적으로 5:5 또는 7:3 정도의 비율로 나눈다.

훈련집합 : 분류기를 만들때에 사용,

테스트 집합 : 분류기를 만들고 난 후 성능 평가에 사용.

 

분류기의 종류

모델 선택 : 어떤 수학적 모델을 사용할 것 인지 결정. ( 선형, 비선형 ) 

학습 : 수학적 모델의 피라미터를 추정하는 과정

예를 들어 선형모델의 기울기나 절편을 추정

선형 분류기 =  평면, 초평면을 학습하는것

비선형 분류기 = 곡선을 이용하여 학습하는것.

 

성능 평가 방식

오류율 기준

• 정인식률 = c/N (N : 총 샘플 수, c : 맞춘 샘플 수)
• 기각률 = r/N (r : 기각한 샘플 수)
• 오류율 = e/N (e : 틀린 샘플 수)

부류가 두개 인 경우의 혼동행렬