반응형 Reading papers/NLP 논문5 [논문 리뷰] BERT: Pre-training of Deep Bidirectional Transformers for Language Under BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding BERT논문 Abstract BERT는 모든 layer에서 unlabeled data로부터 왼쪽과 오른쪽의 문맥을 모두 반영하는 bidirectional representation을 pre-training한다. 그 결과 Substantial task-specific architecture없이 pre-trained BERT모델에 하나의 output layer만 추가하여 질의응답, 언어유추 등 11개의 NLP Task에서 state-of-the-art를 달성하였다. 1. Introduction Language model pre-training은 sentence-le.. 2021. 9. 26. 이전 1 2 다음 728x90 반응형
