반응형 nlp4 [NLP] Transformer ※ 이 글은 KAIST 주재걸 교수님의 강의 내용 및 자료를 바탕으로 작성합니다. 오늘은 Recurrent 모델을 사용하지 않고, Attention으로만 encoder와 decoder를 설계한 Transformer에 대해 다룰 것이다. 먼저 RNN모델에 대해 살펴보자. 기존의 RNN모델은 input에 대한 hidden vector를 순차적으로 구하였으며, 오른쪽 그림처럼 이전 time step의 input은 다음 time step의 hidden vector생성에 영향을 미친다. 왼쪽의 단어만 오른쪽의 단어에 영향을 미치면, 가령 I go home에서 I에 대한 hidden vector를 생성할 때는 go나 home에 대한 정보를 담을 수 없는 문제가 발생한다. 이때 양방향의 정보를 포함시키기 위해 Bi-.. 2021. 9. 19. [NLP] Beam search decoding , BLEU score 이번 포스팅에서는 크게 두 가지 개념을 다룰 것이다. 먼저 Seq2seq with Attention 등의 자연어 생성 모델에서 test time에서 더 좋은 품질의 결과를 얻을 수 있도록 하는 기법인 Beam search decoding에 대해 알아볼 것이며, 그 과정에서 Greedy decoding과 Exhaustive decoding도 함께 볼 것이다. 그 후, 자연어 생성 모델의 정확도 지표인 BLEU score에 대해 살펴볼 것이며, 그 과정에서 Precision, Recall, F-measure도 함께 볼 것이다. Greedy decoding test time에서는 다음 단어를 생성하는 과정을 반복하여 순차적으로 문장을 생성한다. 매 time step마다 가장 높은 확률을 가지는 단어 하나를 택.. 2021. 9. 12. [NLP] NLP Tasks , Bag of Words , Word Embedding , GloVe 1. NLP에 포함된 여러가지 Tasks ■ Low-level parsing · Tokenizaion 어떤 문장을 이해하기 위해 단어를 하나의 정보 단위로 볼 때 그 단어를 token이라 하며, 단어 단위로 쪼개는 작업을 tokenizaion이라 함. 문장은 이 token들이 특정 순서로 이루어진 sequence로 볼 수 있음. · Stemming 'studying, studied', '공부하는, 공부하다, 공부하고'처럼 같은 의미를 갖지만 다른 어미가 붙은 단어들로부터 어근만을 추출하여 의미를 보존 ■ Word and phrase level · NER(Named entity recognition) 단일 단어 혹은 여러 단어로 이루어지 고유명사 인식 ex) NewYork Times · POS(Part-o.. 2021. 9. 9. 딥러닝) 시소러스 , 통계 기반 기법 , 코사인 유사도 자연어 처리(Natural Language Processing, NLP)란 한국어와 영어 등 인간이 평소에 사용하는 말을 컴퓨터에게 이해시키기 위한 기술이다. 컴퓨터가 사람의 말을 이해하도록 하여 여러가지 일을 수행하게 하는 것이 자연어 처리의 목표이다. '단어'는 의미의 최소단위이므로 컴퓨터에게 단어를 이해시키는 것이 중요하다. 그 방법으로 시소러스를 활용한 기법, 통계 기반 기법, 추론 기반 기법(word2vec)이 있다. 1. 시소러스 시소러스란 유의어 사전으로 뜻이 같거나 비슷한 단어가 그룹으로 분류되어 있다. (예시 car = auto, automobile, machine, motorcar) 뿐만 아니라, 단어 사이의 상위/하위 개념 또는 전체/부분 관계를 그래프로 정의하고 있다. 시소러스는 이.. 2021. 4. 25. 이전 1 다음 728x90 반응형
