베이스라인에 대한 이해.. 어떤 코드가 작동하는지 알 수 있도록 !

강의와 베이스라인 연결 !

ODQA

retrieval

reader

두 단계로 구성이 된다 !

train.py

dev dataset에서 단순히 reader로 답 추출하기 !

단순히 데이터셋에 저장된 context로부터 answer를 찾아냄

retrieval 과정은 들어가지 않는다 !

inference.py

wikipedia.json에서 데이터셋에 주어진 query와 유사한 문서를 찾아서..!

그 문서에서 query에 맞는 답을 낸다 (reader)

huggingface

자연어처리에서 반복 작성되는 다수의 프로세스를 아주 쉽게 처리해주는 라이브러리