가전제품 이것저것 이야기

L2 regularization(Ridge)

L2 -> 세타의 제곱, 람다 : 사람이 지정해준다.

단, 절편 값은 논리적 모순이 생기기 때문에 절편 빼고 다른 부분만 업데이트 시켜준다.

수식 정리 후,

L1 regularization(Lasso)

L1 -> 세타의 절대값

L1 vs L2

Occam's razor

보다 적은 수의 논리로 설명이 가능할 경우, 많은 수의 논리를 세우지 말라

Bias - Variance Tradeoff

epoch이 증가할수록 train set에 너무 맞춰진 모델이 생성되면서 test set에서의 오류가 증가함

Overfitting을 극복하는 방법

Regularization != Normalization

Regularization

cost function에서 1000 x 세타1 으로 패널티를 준다.

그 때, 세타1을 줄이는 것이 Regularization이다?

SGD 관련 이슈는 하이퍼파라미터를 어떻게 설정할지에 관한 것이다.

먼저 수도 코드로 SGD 라인의 개념 네가지를 이해해보도록 하자.

GD, BGD, SGD, MSGD

수도 코드

네 가지 개념

Gradient Descent

Batch Gradient Descent

Stochastic Gradient Descent

Mini-batch Gradient Descent

Time Consuming

한 개 씩 처리하는 GD와 SGD의 속도가 배치 단위로 처리하는 BGD, MSGD보다 빠르다. 

Convergence Process

빨강 - GD

노랑 - BGD

파랑 - MSGD : 랜덤하게 값을 주기 때문에 값이 튄다.

초록 - SGD

Multivariate

데이터가 적을 때 - normal equation

데이터가 많을 때 - SGD

Learning Rate

Learning Rate가 계속 줄어야 효율적으로 학습할 수 있다.

1) 특정 epocha 마다 사람이 learning rate를 설정해주는 것

2) 지수감소법, 1/t 감소법을 사용

종료조건 설정

1) 특정값 이하로 cost function이 줄어들지 않는 경우 GD를 멈춘다

2) 사람이 종료 조건을 설정한다(하이퍼 파라미터)

tol > loss - previous_loss

Gradient Descent

한 점에서 이동하면서 cost가 가장 작은 점을 찾음

Full-batch Gradient Descent

전체 점의 평균을 이동하면서 cost가 가장 작은 점을 찾음

- 업데이트 감소 -> 계산상 속도 가능

- 안정적인 cost 함수 수렴

- 메모리 문제

- 대규모 데이터셋에선느 모델, 파라미터 업데이트가 느려짐

Stochastic Gradient Descent

랜덤으로 점을 이동하면서 cost가 가장 작은 점을 찾음

- 업데이트 너무 빈번해서 대용량 데이터에서 시간 오래 걸림

- 지역 최적화 회피

- 더 이상  cost가 줄어들지 않는점 찾기 어려움

Mini-batch Stochastic Gradient Descent

한번에 일정량의 데이터를 랜덤으로 추출한다.

Epoch 

- 전체 데이터가 학습되는 횟수

- 전체 데이터가 training 데이터에 들어갈 때 카운팅

- Full-batch를 n번 실행하면 n epoch

Batch-size

Batch 안의 데이터의 개수

총 5,120개의 training data에서 512 batch-size이면 몇 번 학습해야 1 epoch가 되는가?

10번

Mini batch SGD

Holdout Method (Sampling)

- test, train 데이터를 나눠서 모델을 생성하고 테스트하는 기법

- 일반적으로 train 2/3, test 1/3 를 활용한다

import numpy as np
from sklearn.model_selection import train_test_split

X, y = np.arange(10).reshape((5, 2)), range(5)

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)

overfitting : train 데이터에 모델이 과도하게 맞춰져 있는 것

Learning Rate이

2. gradient descent로 선형 회귀 구현

Cost function J(세타0, 세타1) 을 함수로 보고, Cost function이 최소화 될 때까지 학습시킨다.

[ 세타0 = 세타0 - 알파 x cost function 미분한 것 ]

[ 세타1 = 세타1 - 알파 x cost function 미분한 것 ]

즉, 세타0와 세타1을 계속해서 업데이트해서 cost function이 최소화 되었을 때 세타0, 세타1 값을 반환한다.

중요한 것은 업데이트가 simultaneously 이루어진다는 것 !!

w0와 w1은 동시다발적으로 업데이트된다.

 코드

파라미터 x 하이퍼파라미터 o