반응형

 

복습


 

 

 

Gradient Descent


 

 

Computational Graphs


 

backpropagation


거꾸로 미분하면서 간다

computational graph를 따라서 gradients를 계산하면서 chain rule을 적용하는 반복적인 과정(input,parameters,intermediates)

 

 

local gradient를 사용하여 계산 진행 

 

 

Another example of backprop


1) df/d(variable) 를 구함 -> f 어떤거?

2) local gradient와 upstream gradient를 사용하여 계산

 

 

 

sigmoid function


grouping nodes -> activation

 

 

patterns in backward flow


??

 

 

Vectorized operations


 

-> 너무 크니까 mini-batch로 뽑아서 할것임

-> 어떤 input이 어떤 output에 영향을 주는지? diagonal matrix(대각행렬), element-wise

gradient값은 output에 얼마나 영향을 주는지를 나타냄

 

 

 

 

 

 

 

 

 

Neural Network


h 는 함수와 같은 것

 

 

 

 

반응형

+ Recent posts