Overfitting 과 Underfitting

오버피팅(Overfitting)

트레이닝 에러와 검증 에러가 모두 작아지지만, 일정 횟수 이상 반복할 경우 트레이닝 에러는 작아지지만, 검증 에러는 커지는 오버피팅에 빠지게 된다.

 

따라서 트레이닝 에러는 작아지지만, 검증 에러는 커지는 지점에서 업데이틀르 중지하면 최적의 파라미터를 얻을 수 있다.

 

회색선 위치가 최적의 파라미터 일것이다.

학습 과정에서 머신러닝 알고리즘의 파라미터가 트레이닝 데이터에 과도하게 최적화되어 트레이닝 데이터에 대해서는 잘 동작하지만, 새로운 데이터 테스트 데이터에 대해서는 잘 동작하지 못하는 현상을 말한다.

 

오버피팅은 모델의 표현력이 지나치게 강력할경우 발생하기 쉽다.

 

딥러닝의 경우 모델의 표현력이 강하기 때문에 오버피팅에 빠지기 쉽다.

 

따라서 오버피팅 문제를 완화하기 위해 드롭아웃과 같은 다양한 기법을 사용한다.

 

언더피팅(Underfitting)

의 경우, 오버피팅의 반대 상황으로 모델의 표현력이 부족해서 트레이닝 데이터 또한 제대로 예측하지 못하는 상황을 말한다.