[Lecture 5] Convolutional Neural Networks

 

bit of history

---

 

 

Hierarchical orgnization

Simple Cells, Complex Cells, Hyper Complex Cells

 

Neorecognition[1980]

sandwich algorithm

 

 

 

 

 

 

Fully Connected Layer

---

 

 

 

Convolution layer

---

key : conserve spatial structure

* activation map의 개수 = filter 개수

 

 

ConvNet : sequence of Convolution layer

---

 

 

 

filter 과정

---

stride 1

stride 2

if stride 3? doesn't fit! we don't do convolution

output size formula?

ex) (7-3) / 1 + 1 = 5

(7-3)/2 + 1 = 3

 

 

Q. 가장자리가 적게 반영되는 문제는 어떻게 해결? + input size 유지 효과

zero pad를 Border에 넣기 !

N = 9, F = 3, output size = (9-3)/1 + 1 = 7

+ 제로 패딩 안넣으면 깊은 모델일수록 이미지 사이즈가 줄어든다.

+ 제로 패딩 개수 = (F-1)/2 

F는 filter size

 

 

Example Time

(32 + 2*2 - 5) / 1 + 1 = 32

-> 32 * 32 * 10

 

5 * 5 * 3 + 1 = 76 (+1 for bias)

-> 76 * 10 = 760

 

 

filter 수만큼 h 결정

 

 

Pooling Layer

---

representations를 더 작게 만들어서 관리하기 쉽게 하기 위함

activation map과 별개로 진행

 

 

1) MAX pooling

여기에도 필터존재

풀링 레이어에서는 제로 패딩 잘 쓰지 않음