[Lecture 4] Introduction to Neural Networks

 

복습

---

 

 

 

Gradient Descent

---

 

 

Computational Graphs

---

 

backpropagation

---

거꾸로 미분하면서 간다

computational graph를 따라서 gradients를 계산하면서 chain rule을 적용하는 반복적인 과정(input,parameters,intermediates)

 

 

local gradient를 사용하여 계산 진행 

 

 

Another example of backprop

---

1) df/d(variable) 를 구함 -> f 어떤거?

2) local gradient와 upstream gradient를 사용하여 계산

 

 

 

sigmoid function

---

grouping nodes -> activation

 

 

patterns in backward flow

---

??

 

 

Vectorized operations

---

 

-> 너무 크니까 mini-batch로 뽑아서 할것임

-> 어떤 input이 어떤 output에 영향을 주는지? diagonal matrix(대각행렬), element-wise

gradient값은 output에 얼마나 영향을 주는지를 나타냄

 

 

 

 

 

 

 

 

 

Neural Network

---

h 는 함수와 같은 것