[Tave 7기 캐글스터디] 규제선형모델, 릿지/라쏘

 

 

 

규제 선형 모델

과적합을 개선하기 위해 비용 함수 목표인 $Min(RSS(W)+alpha∗||W||)$을 최소화 해야한다.

alpha =0인경우는 W가 커도 alpha* ||W||가 0이 되어 비용함수는 Min(RSS(W)) alpha = 무한대인 경우는 alpha* ||W||도 무한대가 됨 따라서 비용 함수는 W를 0에 가깝게 해야한다.

alpha 값으로 페널티를 부여해 회귀 계수 값의 크기를 감소시켜 과적합을 개선하는 방식을 규제 (Regularization)으로 부른다. L2방식(릿지 회귀)과 L1방식(라쏘 회귀)이 있다.

 

 

릿지 회귀

사이킷런 Ridge 클래스의 주요 생성 파라미터는 alpha이며, 이는 릿지 회귀의 alpha L2 규제 계수에 해당

alpha 값이 커질수록 회귀 계수의 값을 작게 만들지만, 0으로 만들지는 않는다.

 

 

라쏘 회귀

W의 절댓값에 페널티를 부여하는 L1규제를 선형 회귀에 적용한 것

L1규제는 불필요한 회귀 계수를 급격하게 감소시켜 0으로 만들고 제거하므로, 적절한 피처만 회귀에 포함시키는 피처 선택의 특성을 가지고 있다.

사이킷런 Lasso 클래스의 주요 생성 파라미터는 alpha이며, 이는 라쏘 회귀의 alpha L1 규제 계수에 해당

 

 

엘라스틱넷 회귀

L2 규제와 L1 규제를 결합한 회귀로, 비용함수의 목표는 $RSS(W)+alpha2∗||W||+alpha1∗||W||$ 식을 최소화하는 W를 찾는 것이다.

라쏘 회귀는 서로 상관관계가 높은 피처들의 경우에 이들 중에서 중요 피처만을 선택하고 다른 피처들은 모두 회귀 계수를 0으로 만드는 성향이 강하다. 이러한 특징으로 인해 alpha 값에 따라 회귀 계수의 값이 급격히 변동할 수도 있는데, 엘라스틱넷은 이를 완화하기 위해 L2 규제를 추가한 것이다. 엘라스틱넷 회귀의 단점은 L1과 L2 규제가 결합된 규제로 인해 수행시간이 상대적으로 오래 걸린다는 것이다.

사이킷런 ElasticNet 클래스를 통해 구현할 수 있으며 해당 클래스의 주요 파라미터인 alpha와 l1_ratio중 alpha는 Ridge와 Lasso 클래스에서 사용되는 alpha 값과는 다르다. 엘라스틱넷 규제는 a * L1 + b * L2로 정의될 수 있으며, 이 때 a는 L1 규제의 alpha값, b는 L2 규제의 alpha 값이다. 따라서 ElasticNet 클래스의 alpha 파라미터 값은 a + b 값이다. ElasticNet 클래스의 l1_ratio 파라미터 값은 a / (a + b)이다. l1_ratio가 0이면 a가 0이므로 L2 규제와 동일하고, l1_ratio가 1이면 b가 0이므로 L1 규제와 동일하다.

 

 

선형 회귀 모델을 위한 데이터 변환

[머신러닝 이론] 선형 회귀 모델을 위한 데이터 변환

로지스틱 회귀

선형 회귀의 값을 0~1사이로 압축시켜주는 함수이다.

 

시그모이드 함수라고 하며, $y = {1 \over 1 + e^-x}$

회귀트리

[머신러닝 이론] 회귀 트리(Regression Tree)