과적합(Overfitting) 방지방법

 

 

 

 

과적합(Overfitting) 방지 방법

1. Cross validation

- 대부분 K-fold 교차 검증 방법을 사용한다.

 

1) K를 설정하여 데이터셋을 K개로 나눈다.

2) K개 중 한 개를 valid, 나머지를 훈련용으로 사용한다.

3) K개 모델의 평균 성능이 최종 모델의 성능이다.

 

 

 

2. Regularization

모델의 복잡성을 줄여 일반화된 모델을 구현하기 위한 방법이다.

모델 Bi에 패널티를 부여한다.(선형 회귀를 위한 정규화 : L1, L2 정규화)

 

 

- L1 정규화 (Lasso)

: 불필요한 입력값에 대응되는 Bi를 정확히 0으로 만든다.

 

- L2 정규화 (Ridge)

: 아주 큰 값이나 아주 작은 값을 가지는 이상치에 대한 Bi를 0에 가까운 값으로 만든다.

 

- 엘라스틱 넷

L1, L2 결합