크로스 엔트로피(Cross-Entropy)

크로스 엔트로피(Cross-Entropy)

분류 문제에는 크로스 엔트로피(Cross-Entropy)손실 함수를 많이 사용한다.

 

크로스 엔트로피 손실 함수도 평균제곱오차(MSE)와 같이 모델의 예측값이 참값과 비슷하면 작은값, 참값과 다르면 큰 값을 갖는 형태의 함수로 아래와 같은 수식으로 나타낼 수 있다.

 

$ H_{y'}(y) = -\sum_{i}y'_{i}log(y_{i}) $

 

위 수식에서 y'는 참값 y는 모델의 예측값을 나타낸다.

일반적으로 분류 문제에 대해서는 MSE보다 크로스 엔트로피 함수를 사용하는 것이 학습이 더 잘되는 것 으로 알려져 있다.

 

따라서 대부분의 텐서플로 코드들에서 크로스 엔트로피 손실 함수를 사용한다.