반응형 분류 전체보기154 [MRC] Passage Retrieval – Dense Embedding Passage Retrieval을 위해 Passage를 적절한 벡터로 변환하는 Passage Embedding에 대해 알아볼 것이다. 지난 포스팅에서는 Sparse Embedding에 대해 다루었고, 이번에는 Dense Embedding에 대해 살펴볼 것이다. 먼저 Sparse Embedding에서 배운 TF-IDF는 Bag-of-Word를 기반으로 하기 때문에 zero value가 많고, 벡터 차원이 굉장히 크다. 그러나 이 부분은 non-zero의 위치와 값만 저장하는 등의 compressed format으로 극복 가능하다. Sparse Embedding의 장 큰 문제점은 단어간 유사성을 고려하지 못한다는 것이다. 같은 의미를 갖는 다른 단어는 완전히 다른 벡터로 임베딩 되며, vector space.. 2021. 10. 17. [MRC] Passage Retrieval – Sparse Embedding 지난 포스팅에서는 Extraction-based MRC와 Genration-based MRC에 대해 다루었다. MRC는 문서가 주어졌을 때, 그 문서 내에서 질문의 답을 찾는 것이다. 흔히 인터넷에서 검색하는 것을 생각하면 특정 문서에서 질문을 하는 것이 아닌, 대규모의 문서들이 있는 곳에서 질문을 한다. 이러한 Task를 Open-Domain Question Answering라고 하며, 대규모의 문서 중에서 질문에 대한 답을 찾는 것이다. 질문에 대한 답을 찾기 위해서는 먼저 어떤 문서에 답이 있을 지를 알아내야 한다. 이 과정을 Passage Retrieval이라 한다. 이번 포스팅에서는 Passage Retrieval에 대해 살펴볼 것이다. Passage Retrieval : 질문에 맞는 문서를 찾.. 2021. 10. 17. [부스트캠프 AI-Tech] 11주차 회고록 학습 정리 [MRC 종류 및 평가방법] https://amber-chaeeunk.tistory.com/103 [Extraction-based MRC] https://amber-chaeeunk.tistory.com/104 [Generation-based MRC] https://amber-chaeeunk.tistory.com/105 [Passage Retreival - Sparse Embedding] https://amber-chaeeunk.tistory.com/107 [Passage Retreival - Sparse Embedding] https://amber-chaeeunk.tistory.com/108 [FAISS] https://amber-chaeeunk.tistory.com/109 학습 일정 피어세션.. 2021. 10. 16. [MRC] Generation-based MRC 이전 포스팅에서 Extraction-based MRC에 대해 알아보았다. Extraction-based MRC는 지문 내 답의 위치를 예측하는 토큰 분류 문제로 정의하였다. 이번 포스팅에서는 Genration-based MRC에 대해 알아볼 것이다. Generation-based MRC 정의 Generation-based MRC는 주어진 질의(Question)를 보고, 지문 내 답이 있든 없든 답변을 생성해낸다. 즉 생성 문제로 정의할 수 있다. Genration-based MRC Overview Extraction-based MRC와 입력 부분은 유사하지만, Genration-based MRC의 경우 모델의 출력값이 정답 그 자체가 된다. 이때 모델은 일종의 Seq-to-Seq모델로 decoder가 있.. 2021. 10. 13. 이전 1 ··· 11 12 13 14 15 16 17 ··· 39 다음 728x90 반응형
