손실 함수 (Loss Function)의 종류

모델의 성능을 올리기 위해 손실 함수를 임의로 변형할 수 있음

산술 손실 함수 - 산술값을 예측할 때 데이터 대한 예측값과 실제 관측 값을 비교하는 함수 (regression)

• 제곱 손실 함수 (Quadratic Loss function) - loss(f) = 상수(실제 값 - 관측 값)^2
  • 노이즈 데이터에 약한 모습을 보임
• 절대값 손실 함수(Absolute Loss function) - loss(f) = 상수(|실제 값 - 관측 값|)
  • 노이즈가 많은 경우 사용

두 함수 모두 loss 값을 음수를 만들지 않게 하기 위해 각각 제곱과 절대값을 사용

확률 손실 함수 - 특정 항목을 나누는 분류에서 사용

확률을 최대화하는 방식

• Negative log-likelihood - loss(f) = -logp(조건부 확률|모델)

likelihood란 주어진 데이터가 가정한 모델에 얼마나 적합한지에 대한 조건부 확률

랭킹 손실 함수 - 모델이 예측해낸 결과값에 순서가 맞는지만 판별

• pairwise zero-one - 관계가 잘못된 경우를 카운팅
• edit distance - 몇 번의 맞바꿈을 해야 원래 순서로 돌아갈 수 있는지 측정