가전제품 이것저것 이야기

Holdout Method (Sampling)

- test, train 데이터를 나눠서 모델을 생성하고 테스트하는 기법

- 일반적으로 train 2/3, test 1/3 를 활용한다

import numpy as np
from sklearn.model_selection import train_test_split

X, y = np.arange(10).reshape((5, 2)), range(5)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

overfitting : train 데이터에 모델이 과도하게 맞춰져 있는 것

Learning Rate이

2. gradient descent로 선형 회귀 구현

Cost function J(세타0, 세타1) 을 함수로 보고, Cost function이 최소화 될 때까지 학습시킨다.

[ 세타0 = 세타0 - 알파 x cost function 미분한 것 ]

[ 세타1 = 세타1 - 알파 x cost function 미분한 것 ]

즉, 세타0와 세타1을 계속해서 업데이트해서 cost function이 최소화 되었을 때 세타0, 세타1 값을 반환한다.

중요한 것은 업데이트가 simultaneously 이루어진다는 것 !!

w0와 w1은 동시다발적으로 업데이트된다.

 코드

파라미터 x 하이퍼파라미터 o

하이퍼 파라미터는 모델링할 때 사용자가 직접 세팅해주는 값 !

파라미터와 다름 !

파라미터는 매개변수 !

하이퍼 파라미터는 정해진 최적의 값이 없습니다. 휴리스틱한 방법이나 경험 법칙(rules of thumb)에 의해 결정하는 경우가 많습니다.

벡터는 소문자 볼드로

matrix는 대문자 볼드로 표시

주요 개념

목표는 아래의 식을 만족하는 w0와 w1을 구하는 것!

* m = 데이터의 개수

-normal equation : 빠름

코드

-> linear regressionm logistic regression

1. hypothesis function

2. cost function(=loss function)

= 실제값과 가설함수의 차이

1. 데이터 결측치 처리

2. 라벨링된 데이터 처리

3. 데이터의 scale의 차이가 매우 클 경우 

데이터 결측치 처리

1) 데이터가 없으면 sample을 드롭

2) 데이터가 없는 최소 개수를 정해서 sample을 드롭

3) 데이터가 거의 없는 feature는 feature

4) 최빈값, 평균값으로 비어있는 데이터를 채우기