AI/CS231n
[Lecture 4] Introduction to Neural Networks
Nolja놀자
2022. 5. 17. 00:14
반응형
복습
Gradient Descent
Computational Graphs
backpropagation
거꾸로 미분하면서 간다
computational graph를 따라서 gradients를 계산하면서 chain rule을 적용하는 반복적인 과정(input,parameters,intermediates)
local gradient를 사용하여 계산 진행
Another example of backprop
1) df/d(variable) 를 구함 -> f 어떤거?
2) local gradient와 upstream gradient를 사용하여 계산
sigmoid function
grouping nodes -> activation
patterns in backward flow
??
Vectorized operations
-> 너무 크니까 mini-batch로 뽑아서 할것임
-> 어떤 input이 어떤 output에 영향을 주는지? diagonal matrix(대각행렬), element-wise
gradient값은 output에 얼마나 영향을 주는지를 나타냄
Neural Network
h 는 함수와 같은 것
반응형