반응형 분류 전체보기154 [부스트캠프 AI-Tech] 7주차 회고록 학습 정리 [Transformer] https://amber-chaeeunk.tistory.com/96 [GPT-1 / BERT] https://amber-chaeeunk.tistory.com/97 [GPT-2 / GPT-3 / ALBERT / ELECTRA] https://amber-chaeeunk.tistory.com/98 학습 일정 피어세션 ♥요하이와 하이들♥ 짧은 시간이지만 공부 외의 이야기도 나누면서 더 친해진 한 주였다. 친해지기 시작했는데 끝이 다가온 것 같아 너무 아쉽지만, 앞으로도 종종 질의응답하고 정보 공유하고 안부를 물으며 잘 지냈으면 좋겠다. 피어세션에서는 강의를 들으며 생긴 질문을 공유하고, 밑딥2 책 진도를 맞추어 질의응답 형식으로 스터디를 진행했다. 팀원들과 대화하면서 Tran.. 2021. 9. 17. [NLP] Beam search decoding , BLEU score 이번 포스팅에서는 크게 두 가지 개념을 다룰 것이다. 먼저 Seq2seq with Attention 등의 자연어 생성 모델에서 test time에서 더 좋은 품질의 결과를 얻을 수 있도록 하는 기법인 Beam search decoding에 대해 알아볼 것이며, 그 과정에서 Greedy decoding과 Exhaustive decoding도 함께 볼 것이다. 그 후, 자연어 생성 모델의 정확도 지표인 BLEU score에 대해 살펴볼 것이며, 그 과정에서 Precision, Recall, F-measure도 함께 볼 것이다. Greedy decoding test time에서는 다음 단어를 생성하는 과정을 반복하여 순차적으로 문장을 생성한다. 매 time step마다 가장 높은 확률을 가지는 단어 하나를 택.. 2021. 9. 12. [부스트캠프 AI-Tech] 6주차 회고록 학습 정리 [Bag-of-Words / Word2Vec / GloVe] https://amber-chaeeunk.tistory.com/90 [RNN / LSTM / GRU] [Seq2seq with Attention] https://amber-chaeeunk.tistory.com/92 [Beam search / BLEU score] https://amber-chaeeunk.tistory.com/94 학습 일정 피어세션 CV/NLP분야를 결정하고 같은 분야의 사람들과 팀이 배정되었다. 한 달만에 새로운 팀을 구성한지라 분위기가 달라서 어색하기도 하고 새롭기도 했다. 팀 ground rule을 다시 정하였는데 피어세션 시간을 주로 '질의응답'하는 데 사용하기로 했다. boostcamp강의 외 스터디는 밑바닥.. 2021. 9. 10. [NLP] Seq2seq with Attention ※ KAIST 주재걸 교수님 강의 및 자료를 바탕으로 작성한 글입니다. Seq2seq Sequence-to-sequence는 many to many 문제로 encoder를 통해 input sequence를 모두 읽은 후 decoder로 output sequence를 생성 및 예측하는 문제이다. Sequence-to-sequence는 sequence of words를 input으로 받아 sequence of words를 output으로 주며, 크게 encoder와 decoder로 구성되어있다. encoder와 decoder는 parameter를 share하지 않으며 encoder의 마지막 time step의 hidden state vector는 decoder의 첫 번째 time step에 들어오는 h0가 .. 2021. 9. 10. 이전 1 ··· 14 15 16 17 18 19 20 ··· 39 다음 728x90 반응형
