반응형

 

 

 

NER(Named Entity Recognition)


문장에서 이름들을 찾고, 분류하는 태스크이다.

예1) Paris(PER) Hilton(PER) wowed in a sequin gown.

예2) Samuel(PER) Quinn(PER) was arrested in the Hilton(LOC) Hotel(LOC) in Paris(LOC) in April(DATE) 1989(DATE).

-> Paris가 지역이 아닌 사람 이름이라는 것을 분류하기 위해서는 "context"를 고려해야 한다.

 

 

 

Simple NER


아이디어 : 주변 단어들의 문맥 안에서 각각의 단어를 분류한다.

- logistic classifier를 학습시킨다.

- 단어 벡터들을 concatenate한 것을 바탕으로 center word를 분류한다.

 

 

 

 

Gradients


n개의 input과 1개의 output이 있는 f(x) = f(x1, x2, ..., xn) 이 있을 때,

f(x)의 미분값은 각각의 input들의 편미분의 벡터이다.

 

 

 

Jacobian Matrix: Generalization of the Gradient


n개의 input과 m개의 output이 있는 f(x) = [f1(x1, x2, ..., xn), ..., fm(x1, x2, ..., xn)] 이 있을 때,

f(x)의 미분값은 편미분들의 m x n 행렬이다.

 

 

 

Question


- logistic인지? softmax인지?

 

 

 

 

 

 

 

 

반응형

'AI > CS224n' 카테고리의 다른 글

Lecture 4 - Syntactic Structure and Dependency Parsing  (0) 2022.08.03
Lecture 2 - Neural Classifiers  (0) 2022.07.19
Lecture 1 - Intro & Word Vectors  (0) 2022.07.13

+ Recent posts