정규화 / 회귀 알고리즘 평가 지표

 

 

 

 

L1 regularization(Lasso)

---

 

 

중요하지 않은 베타를 0으로 만들어 모델의 복잡성을 줄인다.

몇 개의 중요한 변수만 선택하기 때문에 정보 손실과 모델의 정확성이 떨어질 가능성이 있다.

계산은 비교적 빠르다.

 

 

 

L2 regularization(Ridge)

---

중요하지 않은 베타를 0에 가깝게 한다.

 

 

 

Elastic net

---

L1 + L2 적용 비율을 조정하여 구현

 

 

 

 

 

 

 

 

 

RSS(Residual Sum of Square)

---

오차들의 단순 제곱합

직관적 해석

입력값의 크기에 의존

 

 

 

 

 

 

MSE(Mean Squared Error)

---

평균 제곱 오차

RSS를 데이터의 수로 나눈 값이다.

작을수록 모델의 성능이 높다고 평가.

이상치에 민감하다.

입력값의 크기에 의존

 

 

 

MAE(Mean Absolute Error)

---

평균 절대값 오차

변동성이 큰 지표와 변동성이 작은 지표를 같이 평가할 때 좋다.

입력값의 크기에 의존

 

 

 

 

 

R square

---

1 - RSS / MSE

회귀모델의 설명력을 표현하는 지표이다.

입력값 크기에 의존하지 않음

0부터 1 사이의 값

1에 가까울수록 설명력이 높다.