반응형 Extraction-based MRC1 [MRC] Extraction-based MRC Extraction-based MRC 정의 Extraction-based MRC는 아래 그림과 같이 질문의 답변이 항상 주어진 지문 내에 span으로 존재하는 것을 뜻한다. ※ 데이터셋 SQuAD, KorQuAD, NewsQA, Natural Questions 위 데이터셋들은 HuggingFace Dataset에서 간편하게 받을 수 있다. HuggingFace_Datasets Extraction-based MRC 평가 방법 1. Exact Match(EM) Score 예측값과 정답이 character단위로 완전히 일치하는 경우 1점을 부여하고, 하나라도 다르면 0점을 부여한다. 2. F1 Score 예측값과 정답의 overlap을 비율로 계산하여 점수를 부여한다. 0~1점 사이의 부분점수를 받을 수 있다.. 2021. 10. 13. 이전 1 다음 728x90 반응형
