Gradient Descent

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Learning Rate이

 

 

 

 

 

 

2. gradient descent로 선형 회귀 구현

Cost function J(세타0, 세타1) 을 함수로 보고, Cost function이 최소화 될 때까지 학습시킨다.

[ 세타0 = 세타0 - 알파 x cost function 미분한 것 ]

[ 세타1 = 세타1 - 알파 x cost function 미분한 것 ]

즉, 세타0와 세타1을 계속해서 업데이트해서 cost function이 최소화 되었을 때 세타0, 세타1 값을 반환한다.

 

 

 

중요한 것은 업데이트가 simultaneously 이루어진다는 것 !!

w0와 w1은 동시다발적으로 업데이트된다.

 

 

 코드

---

 

 

 

 

 

파라미터 x 하이퍼파라미터 o