반응형 bert2 [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Under BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT논문 Abstract BERT는 모든 layer에서 unlabeled data로부터 왼쪽과 오른쪽의 문맥을 모두 반영하는 bidirectional representation을 pre-training한다. 그 결과 Substantial task-specific architecture없이 pre-trained BERT모델에 하나의 output layer만 추가하여 질의응답, 언어유추 등 11개의 NLP Task에서 state-of-the-art를 달성하였다. 1. Introduction Language model pre-training은 sentence-le.. 2021. 9. 26. [NLP] GPT-1 , BERT 오늘 소개할 BERT와 GPT-1(자연어 생성모델)는 모두 Transformer에 기반을 두고 있기 때문에, 만약 Transformer에 대해 잘 모른다면 아래 링크에서 Transformer를 먼저 학습해주세요! https://amber-chaeeunk.tistory.com/96 [NLP] Transformer ※ 이 글은 KAIST 주재걸 교수님의 강의 내용 및 자료를 바탕으로 작성합니다. 오늘은 Recurrent 모델을 사용하지 않고, Attention으로만 encoder와 decoder를 설계한 Transformer에 대해 다룰 것이다. 먼저 RNN amber-chaeeunk.tistory.com GPT-1과 BERT는 모두 Self-supervised Pre-training Model이다. 즉, .. 2021. 9. 19. 이전 1 다음 728x90 반응형
