[논문리뷰] ODQA/Latent Retrieval for Weakly Supervised Open Domain Question Answering

💬 표시는 스터디 시간에 다룬 멘토님의 코멘트, 질의응답 내용을 달아둔 것이다.

💬 BERT의 3저자가 이 논문의 1저자이다.

https://arxiv.org/abs/1906.00300

Introduction

ODQA의 기존 연구 한계점

1. Given-evidence to open corpus
    현실에서는 답변을 위한  evidence가 데이터 셋에 함께 주어지지 않는 게 일반적이다.
2. Reliance on IR system(Information Retrieval)
    search space를 줄이기 위해 IR system의 결과물에 의존하게 된다. 그러나 IR과 QA는 다르다.
     QA는 IR보다 더 많은 language understanding 능력이 필요하다.
3. QA에서 사용자는 상대적으로 명확하게 알려지지 않는 정보를 질문하기 때문에 
    IR 시스템에서 데이터를 가져오는 것 대신 직접적으로 QA 데이터를 가지고 retrieve를 학습해야만 한다.


위 논문에서는 기존 IR system에 의존하지 않고, evidence없이 Question-answering 데이터를 사용하여 retriever도 함께 학습시키는 파이프 라인 제안한다.
retrieval가 거대한 open corpus 에서 처음부터 학습하는 것은 불가능하고, ICT로 사전 학습시킴으로써 end-to-end 학습이 가능했다.

💬 Passage가 아닌 evidence라고 하는 이유는?

위키피디아 문서 하나에 너무 많은 텍스트가 적혀 있고 여기서 gold passage가 무엇인지 정보가 없는 상태에서, 우리는 block을 찾는다. 하나의 block이 정답일 수도 있고 아닐 수도 있어서 "evidence"라고 한다.

실제로 학습을 할 때, 위키피디아 한 페이지를 다 쓸 수 없어서 top -k 를 통해 솎아내서 pretrain한다.
IR은 evidence라는 용어를 많이 쓰고, 최근에는 passage라고도 부른다.

---

Related Work

대부분의 retrieval-based / open domain / QA system은 아래와 같은 notation을 사용한다.

Question q가 주어졌을 때, answer derivation (b,s)에서 answer string a를 찾는 것이 목적이며, 이를 Score function S로 다음과 같이 나타낼 수 있다.

Inference의 output a를 찾는 과정은 아래와 같이 나타낼 수 있다.

이번 논문은 component scoring을 새롭게 제안한데 중심을 두고 있으므로, 이전 논문의 component의 score function S_retr와 S_read가 어떤식으로 정의 되었는지 간략하게 알아보자.

---

제안 방법론

Retriever과 Reader가 공동으로 학습되는 end-to-end 모델인 ORQA를 제안한다.

• ORQA 는 오로지 question-answer (질문과 답변 쌍 데이터) 로만 학습 하여 open corpus 내에서 evidence를 찾는것을 학습한다. ⇒ ORQA 는 open corpus 내에서 어떤 text 든 검색할 수 있다. 하지만 기존 QA 는 black-box IR 에 의해 반환되는 closed set 에 제한된다.
• Retriever 를 ICT 기법을 통해 Pre-train 을 진행한다. ⇒ Word matching features 그 이상을 학습 할 수 있다.
  

모델 구조
ORQA 는 Retriever 와 Reader 로 나눌 수 있다.
Retriever 는 open corpus 에서 evidence가 될 수 있는 evidence block 을 검색한다.
Reader 는 Retriever 에서 나온 Top-k 에 해당하는 evidence block 에서 answer 가 될 수 있는 후보를 찾고 가장 높은 점수를 가지는 answer 를 최종적인 answer 로 선정한다.

Retriever component
Retrieval score를 다음과 같이 정의한다.

q: question / b: evidence block / W: BERT의 representation vector를 128 dimensional vector로 바꿔주는 행렬
위 수식을 아래의 그림과 같이 나타낼 수 있다. 이후 Top-k로 가장 높은 점수 k개를 선택하고, 답을 가지고 있는 k개의 evidence block을 선정한다.

 

Reader component

Following Lee et al. (2016), a span is represented by the concatenation of its end points, which is scored by a multi-layer perceptron to enable start/end interaction. (Span은 MLP에 의해 점수가 매겨진 end points의 연결에 의해 표현된다.이는 start/end 상호작용을 가능하게 하기 위함이다.)

 

Challenges
모델은 개념적으로 간단하지만, 학습하는 과정에 있어서 다음과 같은 어려움이 존재한다.
1. open evidence corpus 는 너무나도 큰 search space 를 보여준다. (본 논문에서는 1300만 이상의 evidence block 이 존재한다고 한다.)
2. 너무나도 큰 search space 를 탐색하는 방법은 잠재적이다. 그래서 teacher-forcing 기법으로 학습시킬 수 없다.
3. Latent-variable (잠재-변수) 방법은 극단적으로 모호한 결과물의 수가 많기 때문에 단순히 사용하기 어렵다.

💬 모호한 결과?

QA에서 Passage/Evidence는 실제 liklihood 계산 시 모두 고려할 수 없다. answer의 확률 계산 시 사실 모든 Passage에서 answer 후보군의 확률을 계산해야 하기 때문이다. 모호하다는 말은 이러한 맥락에서 나왔다.

Answer 가 ‘seven’ 일때, Supportive Evidence 뿐만 아니라 Spurious Ambiguity 에서도 seven 이라는 단어가 존재 한다. ⇒ 맥락을 이해하지 못한채 seven 이라는 word matching 을 통해 모호한 evidence block 을 선택 할 수 있다.

 

ICT(Inverse Cloze Task)⭐

위의 challenge들을 해결하기 위해 본 논문에서는 Retriever을 ICT 기법을 통해 Pretrain하는 방식을 제안한다.
Cloze Task 는 맥락을 기반으로 마스킹된 text 를 유추하는 것인데, ICT 는 그 반대로 text 를 통해 맥락을 유추하는 Task 이다.

💬 MLM과 ICT의 차이

Pretrain의 가장 보편적인 방식은 MLM(Masked Language Model)이다. text representation을 잘 하기 위해서 mask를 복구한다. MLM은 token 단위라면, ICT는 sentence 단위이다.

위 그림에서 1번 index의 context에서 가져온 하나의 문장이 pseudo-question의 역할을 한다. 그리고 가져온 맥락이 pseudo-evidence가 된다. 이를 식으로 다음과 같이 표현할 수 있다.

q: random sentence / b: text surrounding q

💬 Pseudo-question과 question의 차이

Pseudo-question은 위 그림에서처럼 질문의 형태가 아닐 수 있다. 
Pseudo-question은 라벨링이 안 되어 있다. 특정 input 근처에 있는 것을 positive로 고려하며 만들어진 문장이다.

ORQA는 위키피디아의 특정 블록을 Pseudo-query로 보고, QA가 아니라 관련 output을 찾는 전체 과정 자체를 학습한다.
즉, 2 stage learning으로 보면 되는데 첫번째 단계가 pretrain(ICT)이고 두번째 단계가 finetuning이다.

 

ICT의 장점은 다음과 같다.

1. word matching features 이상의 것을 학습 할 수 있다. 
    - 실제 QA 에서는 질문에서 언급되지 않은 부분을 찾아서 답을 해주는 경우가 많다. 이 점이 정보 검색과는 다른 부분이다.
    - 그렇다고 해서 word matching 이 필요 없는것이 아니라, 매우 중요한 feature 중 하나이다. 그래서 90% 의 예시에서 context 에서 문장을 제거 함으로써 , low-level 의 word matching 까지 학습하도록 했다.
2. 사전 훈련 중 문장과 Fine-tuning 시 Question 간 불일치 해도, zero-shot evidence 검색 성능이 잠재변수 부트스트랩 하기에 충분하다.
3. pre-train 시 , evidence block 과 downstream 시 , evidence block 간의 불일치가 존재하지 않는다.
    - evidence block 을 인코딩 하는 BERT_B 를 학습 할 필요가 없다. Question encoder 인 BERT_Q 만 fine-tuning 을 거친다.
4. spurious ambiguity 에 bias 를 줌으로써 피할 수 있다.

 

Inference

- 모든 Evidence block들은 finetuning에서 encoding할 필요가 없다. (pre-training에서 이미 했기 때문이다)
           Fixed block encoders already provide a useful representation for retrieval
- 내적값의 maximum을 빠르게 찾기 위한 index를 pre-compile 할 수 있다
- Inference는 pre-compiled index를 이용한 beam search 방식 사용한다
- Tok-k개의 evidence block 검색 후 reader score만 계산(논문에서 k = 5)

Learning

1. Answer derivation에 대한 분포는 다음과 같다.

q : question / b : index of an evidence block
s : span of text within block b / Top(k) : S_retr 를 기반으로 뽑은 k 개의 검색된 evidence block 을 의미한다. 

2. Gold answer a가 주어지면,  beam search를 통해 모든 올바른 derivations 을 찾고 marginal log-likelihood 로 최적화 한다. 

- a=TEXT(s) 라는 것은 Answer a 가 Span s 에 포함되어 있는 경우를 의미한다.
- Top k 내에 있는 문서에 span 안에 a 가 들어있는 건 매우 적을 것 이므로 Early Update 이라는 방식을 제안한다.

3. Early Learning : Top (k) 가 아닌 Top (c), 즉 좀 더 포괄적으로 evidence block 를 골라서 계산에 있어서 이점이 있다. (c= 5000)

a 가 index b 인 evidence block 내에 존재 하는 경우를 가리킨다 .

4. Final Loss는 둘 다 업데이트한다. 

만약 정답 a 와 매칭 되는게 없다면 그 예시는 사용하지 않는다.
거의 모든 예제가 Random initialization 로 폐기될 것으로 예상되지만 ICT pre-train 때문에 예시의 10% 보다 적게 예시를 삭제했다.

Contribution
IR 시스템을 사용하지 않고, question-answer 쌍만 사용해서 end-to-end 로 Retriever 와 Reader 를 공동 학습하는 첫번째 ODQA 시스템이다.

---

실험 및 결과

Dataset

• Natural Question
  • open version의 dataset. 짧은 answer를 가진 question을 사용했고, 주어진 evidence document는 제거.
  • 많은 token을 가진 answer에서 역시 5개의 token보다 더 많이 삭제함. 왜냐면 긴 토큰의 answer는 extractive snippet과 비슷하기 때문.
• WebQuestions
  • Google Suggest API의 샘플 question을 포함하고 있음
  • annotated answer(string type의 representation만 취급함)
• CuratedTrec
  • TREC QA data의 question-answer pair로 이루어진 corpus
  • question은 MSNSearch나 AskJeeves logs 같은 real queries
• TriviaQA
  • trivia QA pair(from web)
  • unfiltered set 활용, supervised evidence는 버림
• SQuAd
  • ODQA 보다는 reading comprehension에 더 적합한 dataset
  • Wikipedia 문단에서 선택된 answer spans 와 annotator들에 의해 쓰여진 question
• dev set 이 주어지지 않은 dataset에서는 training set의 10%를 랜덤추출
• test set이 hidden된 경우(dev set만 있고 test set이 없을 경우를 의미하는 것 같음) 마찬가지로 training set 의 10%를 dev set으로 쓰고 dev set은 test set으로 사용

 

Dataset Biases

• 다양한 QA pair를 평가하는 것은 중요
  • 모든 존재하는 dataset들이 내부에 bias들을 가지고 있을 수 있기 때문
• Natural Questions, WebQuestions, CuratedTrec
  • 질문자들이 정답을 모른 채로 질문한 것들임
  • 진짜 정보를 찾는 질문
  • 그래서 moderate bias(중간정도의 bias)가 있다고 볼 수 있음
• TriviaQA, SQuAD
  • 정보가 필요해서 한 질문들이 아님

 

Implementation Details

Evidence corpus

• English Wikipedia snapshot(Dec, 20, 2018)
• BERT tokenizer에 기반하여 최대 288 wordpieces로 자름
• 13 million evidence block 이상

Hyperparameters

• 12 trnasformer layers(hidden size 768)
• 128 dimensions
• BERT 와 동일한 optimizer사용
• ICT로 retriever를 pre-training 할 때
  • lr: 10^{-4}
  • batch size 4096
  • 100k steps
• fine-tunning 시에
  • lr: 10^{-5}
  • batch size 1
  • larger datset(nq, TQA, SQuAd)에는 2 epoch을 돌렸지만 smaller dataset(WebQuestions, CuratedTrec)에서는 20 epoch 돌림

💬 Batch size가 매우 크다
batch size가 작으면 안된다는 지적을 받기도 한다.
ORAQ가 constrastive learning으로 어떻게 이어지는 지 (negative 넣는 방법 등)를 살펴보면 좋을 것 같다.

 

Baseline

• 다른 retrieval methods 와 비교해보자. S_{retr}(b, q) retrieval score활용

BM25

• SOTA unsupervised retrieval method
• IR task 와 evidence retrieval for QA 둘 다에 튼튼한 method이기에 비교군으로 사용함
• BM25가 학습 요소가 아니기 때문에(not trainable) fine-tuning 하는 동안의 retrieved evidence는 고정되어 있다.
• final score = BM25 와 reader score의 가중합

Language Models

• 또 다른 비교군으로 unsupervised neural retrieval은 traditional IR을 뛰어넘기 어렵기로 유명
• 그래서 비교 baseline으로 LM의 unsupervised pooled retresentation을 실험
  • 두 개의 128 dim representation(널리 사용됨)
    1. NNLM(문맥과 독립적인 embeddings)
    2. ELMo(small, 문맥과 관련된 양방향의 LSTM)

 

결과

• BM25는 powerful한 retrieval system이다
• ORQA는 진짜 정보를 찾고자 하는 datasets(Natural Questions, WebQuestions, CuratedTrec)에서 BM25를 능가했다.
• 그러나 question asker가 이미 정답을 알고 있는 데이터셋인 SQuAD 와 TriviaQA의 경우 retrival problem 은 traditinal IR과 비슷하다
• 128차원으로 압축된 벡터는 evidence의 모든 단어들을 정확하게 표현하는 BM25보다 성능이 나쁘다.
• SQuAD dataset은 Dev data와 Test data 점수 차이가 크다. 이는 536개의 적은 지문에서 10만개의 많은 질문을 뽑아냈기 때문이다 (data bias) 
  => 좋은 retrieval target(점수 하락이 크지 않은)을 위해서는 
  1) training example        2) IID assumption을 위반하는지     3) 학습된 retrieval과 적합한가 등을 신경써야하고 이러한 이유에서 앞으로의 ODQA 모델들은 SQuAD dataset을 사용하지 않기를 제안한다.

 

분석

Masking Rate in the ICT
ICT 사전 학습시 masking rate를 1로 두면 (모든 example을 마스킹) 전혀 학습이 되지 않는다. 
아예 masking을 안할 경우, memory하는 것에는 문제가 없지만 QA에 일반화할 수 없다.
90%만 masking한 경우, word-matching으로서의 역할을 할 수 있다.

---

배운 점

• ODQA는 retriever과 reader을 모두 end-to-end로 IR system 없이 QA pair로만 학습한 최초의 방법이다.
• Inverse Cloze Task(ICT)를 사용하면 retriever을 pretrain하는 게 가능하다.