반응형 분류 전체보기154 [부스트캠프 AI-Tech] 8주차 회고록 학습정리 [AI 서비스 개발] https://amber-chaeeunk.tistory.com/101 학습일정 피어세션 Boostcamp마지막까지 함께할 팀원들과의 첫 만남은 아니고 첫 피어세션이었다! 추석 때 어떻게 보냈는지 이야기 나누고 팀 ground rule과 2주동안 어떤 식으로 협업할지 큰 계획을 정했다. KLUE RE내용을 함께 보며 task 맛보기도 했다. 회고 앞으로 계속 함께할 팀원들이어서 그런가 왠지 긴장도 더 되고 처음 Boostcamp시작했을 때 느낌이 들었다. 대회하다보면서 자연스럽게 합을 맞추어갈 텐데, 잘 협업해서 좋은 결과 얻었을 때의 그 희열을 느끼고 싶다! (물론 우당탕탕 좌절의 순간이 더 많겠지만ㅎㅎ) 함께 잘 할 수 있도록 소통도 많이하고, 질의응답도 활발하게 하고 개.. 2021. 9. 24. [NLP] GPT-2 , GPT-3 , ALBERT , ELECTRA 지난 포스팅에서 다룬 Self-supervised Pre-training Model GPT-1, BERT에 이어서 Advanced Self-supervised Pre-training Model GPT-2, GPT-3, ALBERT, ELECTRA에 대해 살펴볼 것이다. https://amber-chaeeunk.tistory.com/97 [NLP] GPT-1 , BERT 오늘 소개할 자연어 생성 모델인 GPT-1과 BERT는 모두 Transformer에 기반을 두고 있기 때문에, 만약 Transformer에 대해 잘 모른다면 아래 링크에서 Transformer를 먼저 학습해주세요! https://amber-chaeeunk.ti.. amber-chaeeunk.tistory.com GPT-2 기존에는 다음에 .. 2021. 9. 21. [NLP] GPT-1 , BERT 오늘 소개할 BERT와 GPT-1(자연어 생성모델)는 모두 Transformer에 기반을 두고 있기 때문에, 만약 Transformer에 대해 잘 모른다면 아래 링크에서 Transformer를 먼저 학습해주세요! https://amber-chaeeunk.tistory.com/96 [NLP] Transformer ※ 이 글은 KAIST 주재걸 교수님의 강의 내용 및 자료를 바탕으로 작성합니다. 오늘은 Recurrent 모델을 사용하지 않고, Attention으로만 encoder와 decoder를 설계한 Transformer에 대해 다룰 것이다. 먼저 RNN amber-chaeeunk.tistory.com GPT-1과 BERT는 모두 Self-supervised Pre-training Model이다. 즉, .. 2021. 9. 19. [NLP] Transformer ※ 이 글은 KAIST 주재걸 교수님의 강의 내용 및 자료를 바탕으로 작성합니다. 오늘은 Recurrent 모델을 사용하지 않고, Attention으로만 encoder와 decoder를 설계한 Transformer에 대해 다룰 것이다. 먼저 RNN모델에 대해 살펴보자. 기존의 RNN모델은 input에 대한 hidden vector를 순차적으로 구하였으며, 오른쪽 그림처럼 이전 time step의 input은 다음 time step의 hidden vector생성에 영향을 미친다. 왼쪽의 단어만 오른쪽의 단어에 영향을 미치면, 가령 I go home에서 I에 대한 hidden vector를 생성할 때는 go나 home에 대한 정보를 담을 수 없는 문제가 발생한다. 이때 양방향의 정보를 포함시키기 위해 Bi-.. 2021. 9. 19. 이전 1 ··· 13 14 15 16 17 18 19 ··· 39 다음 728x90 반응형
