[Tave 7기 캐글스터디] 선형회귀, 다항회귀

 

 

LinearRegression 클래스 - Ordinary Least Squares

: 예측값과 실제값의 RSS(Residual Sum of Squares)를 최소화해서 OLS(Ordinary Least Squares) 추정 방식으로 구현한 클래스

1. fit() 메서드로 X,y 입력받으면 회귀 계수인 W를 coef_ 속성에 저장
2. 입력 파라미터

• fit_intercept : 절편 값을 계산할 것인지 말지 지정 (True or False)
• normalize : True이면 회귀를 수행하기 전에 입력 데이터 세트를 정규화함

1. 속성

• coef_ : 회귀 계수
• intercept_ : 절편 값

1. OLS는 입력 피처의 독립성에 많은 영향을 받는다. 피처 간의 상관관계가 매우 높은 경우, 분산이 매우 커져서 오류에 매우 민감해진다.(다중 공선성 문제)

→ 상관관계가 높은 피처가 많은 경우, 독립적인 중요한 피처만 남기고 제거하거나 규제를 적용한다.

→ PCA를 통해 차원 축소를 수행한다.

1. 회귀 평가 지표

• MAE
• MSE
• RMSE
• R^2

1. 사이킷런에서의 평가지표

• MAE
• MSE
• R^2

 

 

다항 회귀의 과대적합/과소적합

다항 회귀

: 단항식이 아닌 2차, 3차 방정식과 같은 다항식으로 표현 되는것

ex) y = w0 + w1 * x1 + w2 * w2 + w3 * x1 * x2 + w5 * x1^2 + w5 * x2^2

• 다항 회귀는 선형 회귀이다. 선형 / 비선형을 나누는 기준은 회귀계수가 선형 / 비선형인지에 따라 나눈다.

 

1. PolynomialFeatures 클래스를 통해 피처를 다항식 피처로 변환한다.