[논문리뷰] T5/Exploring the Limits of Transfer Learning with a UnifiedText-to-Text Transformer

💬 들어가기에 앞서

- Text to text란?
text 형태로 주어진 문제에서 text 정답 찾기

- Transfer Learning in NLP
위 논문에서는 다음 두 모델을 비교하며 전개한다.

T5에서 적용된 방법론들은 다음과 같다.

- Training objective : Modified MLM

- Model structure : Prefix LM + Casual with prefix

- Corruption

별 붙은 건 T5 base에서 사용된 옵션 / 볼드체는 제일 좋은 성능

 

https://arxiv.org/abs/1910.10683    2020년 구글에서 발표한 논문으로, 67장.. 양이 엄청나다

💬 PLM 춘추 전국 시대에서 '나 이렇게 Pretrain을 잘했어'가 아니라
span을 몇개, corruption을 어떻게 등 구체적인 실험을 진행해서 논문이 길어진 것이다. 실험을 선별해서 보는 게 중요하고, intro에서 흐름을 잘 느껴라!

 

Introduction

최근 NLP task에서 많이 사용되는 Transfer Learning 기법의 각 방법들에 대한 전체적인 연구를 담고 있다. Unlabeled dataset, model architecture, pre-training objective, transfer approach 등 지금까지 발표된 다양한 기법이 성능 개선에 얼마나 영향을 미치는 지 실험을 통해 밝히고, 새로운 모델인 'T5'를 제안한다.


NLP 분야에서는 모델이 텍스트를 이해할 수 있는 general-purpose knowledge를 개발하고자 했다.
최근의 NLP 연구들은 대량의 unsupervised dataset에 대해 pre-train된 모델을 목표로 하는 task에 대해 supervised fine-tuning하는 transfer learning을 사용하는 방식을 많이 사용했다. 그리고 이 방식이 task-specific model을 만드는 것보다 더 좋은 성능을 나타냄은 이미 입증되었다. 또한 이전의 연구들에 의해 더 큰 모델을 사용할수록, 더 많은 데이터셋을 사용할수록 더 좋은 성능을 나타낸다는 것도 입증되었다.
하지만 구글 연구팀은 rigorous understanding(엄격한 이해)의 필요성을 느꼈고, 이를 위해서 unified approach to transfer learning를 제안했다. 모든 NLP task를 text-to-text 문제로 생각해보는 것이다. 이렇게 모든 task들을 하나의 접근 방법으로 풀게 된다면 다양한 downstream task에 동일한 model, objective, training procedure, decoding process를 적용할 수 있게 된다.
T5는 획일화된 방식을 통해 다양한 transfer learning objective와 unlabeled dataset 같은 다양한 모델링 요소들에 대해서 효과적으로 비교 분석한다.

 

 

 

---

제안 방법론

Set up

Model

• 전반적으로 기존 Transformer 논문에 나온 아키텍처를 사용한다. BERT나 GPT 같은 모델처럼 Transformer 구조의 Encoder나 Deocoder를 따로 떼어내서 사용하는 것이 아니라 그냥 원래 Transformer의 Encoder-Decoder 구조를 그대로 가져와서 사용한다.
  차이점은 아래와 같다.
  • 간소화된 layer normalization 사용 (Transformer의 Layer Normalization에 사용되는 layer norm bias를 제거하고 rescale만 수행)
  • residual path 전에 layer normalization
  • sinusoidal position signal 대신 간소화된 relative position embeddings 사용 (성능 향상을 위해 모든 layer에 position embedding parameters 공유)
  • Absolute positional embedding 대신 Relative positional embedding 사용
• 모델에 크기에 의한 성능 변화를 확인 할 것이다.
  • 큰 모델을 돌리기 위해 model and data parallelism 사용
  • 학습은 Cloud TPU Pods 사용 (ML supercomputers with 1,024 TPU v3 chips)

The Colossal Clean Crawled Corpus

• T5의 pre-training에 사용된 데이터셋은 C4라는 데이터셋이다. 
• 이 논문에서는 unlabeled data의 quality, characteristics, size가 어떤 영향을 주는지 탐구한다.
• 이것을 실험하기 위해 Colossal Clean Crawled Corpus를 만든다.
  
  

Common Crawl

• Common Crawl은 무료로 공개된 web archive 이며 HTML 파일들을 처리해서 매달 20TB의 text data를 구축한다
• 하지만 대부분은 사용이 불가능한 text이다 (에러 메세지, 메뉴, 중복 text).
• 또는 어떠한 downstream task의 학습에 도움이 안될 text이다 (욕설, 코드, placeholder text)
  
  

Common Crawl clean up!

1. 종지 부호로 끝나는 문장들만 허용한다 (마침표, 느낌표, 물음표등)
2. 5 문장 미만인 페이지 제거 및 단어 개수가 3개 이상인 line만 허용한다
3. List of Dirty, Naughty, Obscene or Otherwise Bad Words에 포함된 비속어 단어가 있는 페이지 제거한다
4. Javascript란 단어가 있는 line 제거한다 (Javascript를 허용하라는 경고문이 많았다고 함)
5. “lorem ipsum” 문구가 있는 페이지 제거한다
6. 중괄호(“{”)는 자연어에서 사용이 안되고 코딩 언어에서 자주 사용이 되니 “{”이 존재하는 페이지 제거한다
7. 3번 이상 등장하는 three-sentence span 데이터 하나 빼고 제거한다
8. 영문 downstream tasks에 집중을 하니 langdetect라는 필터를 사용해서 영어가 아닌 페이지 제거한다

2019년 4월에 데이터를 가지고 와서 필터링해서 대략 750GB란 대량의 데이터를 확보했다. 이를 적당하게 clean하고 natural한 영문 text를 확보한 데이터를 "Colossal Clean Crawled Corpus (C4)"라고 칭한다.

 

Downstream Tasks

• 이 논문의 목표는 general language learning abilities를 측정하는 것이다.
• 그러므로 여러 benchmarks을 기준으로 downstream tasks의 성능을 확인할 것이다.
  
  

GLUE and SuperGLUE

General language understanding 성능을 확인한다.

• Sentence acceptability judgment
• Sentiment Analysis
• Paraphrasing/sentence similarity
• Natural Language Inference
• Coreference resolution
• Sentence completion
• Word sense disambiguation
• Question Answering

fine-tuning을 할 때 모든 데이터셋을 concat해서 하나의 task로 설정한다

CNN/Daily Mail - abstractive summarization
SQuAD - question answering
WMT Engligh to German, French and Romanian- translation

참고할 것은 pre-training은 오로지 영문 데이터로만 된다. 그러므로 모델은 새로운 언어로 단어를 generate하는 것을 학습해야 한다.

 

Input and Output Format

• 하나의 모델을 학습해서 여러 tasks를 할 수 있도록 하기 위해 tasks를 “text-to-text” format으로 변경한다
• 모델은 teacher forcing을 이용해서 maximum likelihood objective를 목표로 학습한다
• 어떤 task를 수행해야하는지 알려주기 위해 task-specific text prefix를 사용한다
• STS-B를 제외하고 모든 tasks를 text-to-text format으로 수월하게 변경 가능하다
• STS-B는 1~5 사이의 유사도 점수를 예측하는 task인데 대부분 0.2 배수로 점수가 정해져 모든 점수를 제일 가까운 0.2 배수로 대체한다
• 결국 21-class classification problem으로 대체된다

---

실험 및 결과

1. Baseline

모델

• 일반적인 인코더-디코더 모델 구조를 사용
• 모델 사이즈는 Bert base(110 million)와 비슷하도록 설계
  • 12개의 어텐션 블록이 쌓여있는 구조
  • encoder 110 million / decoder 110 million → Total 220 million parameter

 

Training

• Seq-length = 512
• batch size = 128 sequences
• C4 데이터를 이용한 Pre-train : 524,288 steps ($2^{19}$)
• 각 테스크에 대한 Fine-tune : 262,144steps ($2^{18}$)
• Text-to-Text task

 

Vocab

• SentencePiece(Kudo and Richardson, 2018)를 사용해 C4 데이터를 활용한 32,000개 사전을 구축
• 번역 task를 위해서 독일어, 프랑스어, 로마어 단어도 추가 (10:1:1:1 = 영어:독일어:프랑스어:로마어)
• Unsupervised Objective : Denoising 방법을 사용한다 - word 단위가 아닌 span 단위를 sentinel token으로 치환

T5의 pre-training objective는 SpanBERT 논문에서 제안된 기법을 사용한다. 원래 BERT의 경우에는 입력되는 original text 내의 일부 token들을 [MASK] token으로 교체하는 방식을 택했으나, SpanBERT에서는 각 token을 마스킹하는 것이 아니라 Span 을 하나의 [MASK] token으로 마스킹한다. 이 방식을 사용했을 때 어느정도의 성능 향상이 있었을 뿐만 아니라 계산 효율도 꽤 향상되었다.

 

Baseline Performance

• 학습을 할 때마다 모델의 성능이 달라지기 때문에(i.e. with different random initializations and data set shuffling) Baseline model을 10번 학습시켜서 평균과 표준편차를 계산한다.
• 여기서 계산된 표준편차를 기준으로 2-sigma 범위 내 점수는 비슷한 수준의 성능이라고 판단한다.

• Score 기준
  • GLUE/SGLUE : GLUE와 SuperGLUE에 있는 모든 subtask 점수의 평균
  • CNNDM : ROUGE-2-F
  • SQuAD : EM
  • EnDe/EnFr/EnRo : BLUE

 

2. 테스트 모델 구조

• Attention 종류
  • Fully-visible : input 데이터가 모든 output 데이터에 attention
  • Causal : input 데이터 이전 스탭까지만 attention
  • Causal with prefix : 앞부분 일정구간(prefix)은 항상 attention하면서 prefix 이후 구간은 타임 스탭에 따라 attention

 

• Model 종류
  • Encoder-Decoder
    • Encoder : Fully-visible
    • Decoder : Causal
  • Language Model
    • Only decoder : Causal
  • Prefix LM
    • LM + Prefix(query 부분)

 

• Result
  • Denoising 방법으로 일반적인 인코더-디코더 구조를 사용했을 때 가장 성능이 좋음
  • Bert base parameter = P 기준
  • 인코더와 디코더의 parameter를 shared 하는 경우에는 성능이 조금 떨어지지만 크게 차이나지 않음
  • Q) parameter가 절반인데도 cost가 같은 이유 : 여기서 cost(M)은 모델 학습에 필요한 cost가 아니라 모델이 작동할 때 필요한 cost를 의미함. 학습해야 하는 parameter가 절반이더라도 모델에 존재하는 parameter의 개수는 동일하기 때문에 cost도 동일
  • Attention 종류
    • Fully-visible : input 데이터가 모든 output 데이터에 attention
    • Causal : input 데이터 이전 스탭까지만 attention
    • Causal with prefix : 앞부분 일정구간(prefix)은 항상 attention하면서 prefix 이후 구간은 타임 스탭에 따라 attention

 

3. Unsupervised Objectives

어떤 형태의 인풋/아웃풋이 좋은 성능을 내는지 결정하는 과정
높은 레벨에서 가장 좋은 성능을 선택한 후, 하위 단계를 비교하는 방식으로 실험을 진행했다.

• Prefix language modeling : 문장 앞 부분을 보고 뒷 부분을 예측하는 objective
• BERT-style : Bert와 같은 구조를 사용하지만, 출력이 연속된 sequence 문장으로 나오도록 변경한 objective
• Deshuffling : 입력 문장을 뒤섞은 후 원래 순서대로 맞추는 objective

 

• I.i.d. noise, mask : 임의의 token을 masking 하는 방식의 objective
• I.i.d. noise, replace spans : 1 단위의 span을 임의로 정하고 span이 연속된 경우 하나의 span으로 취급하여 sentinel token으로 대체하고, 이를 다시 예측하는 objective
• I.i.d. noise, drop : 임의의 token을 제외시키고 제외된 토큰을 다시 예측하는 objective
• Random spans : 임의로 정해진 길이의 span을 정하고 이를 다시 예측하는 objective

 

Disparate High-Level Approaches
문장을 처리하는 방식이 다른 3가지 objective를 먼저 비교 → Bert-style이 가장 성능이 우수하다

위의 표는 각 pre-training 방법에 대한 성능 비교를 나타낸 표 인데, Prefix language modeling은 GPT와 같은 standard language modeling 방식을, BERT-style은 BERT에서 사용되는 masked language modeling 방식을 말한다. 마지막으로 Deshuffling 방식은 sequence를 입력으로 받아 순서를 shuffling한 후 원래 sequence를 target으로 해서 복구하는 방식의 denoising sequential autoencoder를 이야기한다.

 

Simplifying the BERT Objective

• Bert-style : 15%의 token을 mask token으로 변경(임의의 token으로 바꾸지 않음)
• MASS-style : Span을 먼저 정하고 span 내 token을 masking하는 방식
• Replace corrupted spans : Span을 정한 후 sentinel token으로 바꾸는 방식
• Drop corrupted tokens : 문장에서 token을 제거하는 방식

BERT-style의 pre-training objective가 가장 좋은 성능을 나타냈다는 것을 확인한 후 여러가지의 denoising objectives에 대해서 서로 비교 실험을 진행했다. 위 표가 실험의 결과인데, 첫번째로 BERT-style은 original BERT에서 사용되었던 15%의 token을 masking하는 방식을 말한다. 두번째로 MASS-style은 MASS 논문에서 제안되었던 span내 token들을 masking하고 해당 token들을 예측하는 방식을 말한다. 그 아래의 Replace corrupted spans는 T5에서 사용한 일정 span을 하나의 masking token으로 대체하는 방식을, Drop corrupted tokens는 input sequence의 tokens를 제거하고 다시 복원하는 방식을 말한다.

 

Varying the corruption rate
Corruption 비율이 높아지면 예측해야 하는 타켓이 증가하고 이는 학습 시간을 더 증가시킴 → Bert에서 사용했던 15% corruption 비율을 사용하기로 결정

 

Corrupting Spans
입력 문장을 span-corruption 하면 입력 token의 수가 줄어들기 때문에 속도 향상 효과도 있음
i.i.d 방식에서는 Span length는 임의로 정해지기 때문에 특정한 길이를 지정할 수 없음
여기서는 각 span 길이에 따른 성능을 보여주는 것
ex) 500 tokens로 이루어진 문장에서 75 tokens(15%)을 span 처리하는 경우

1. 32.5개 spans → Average span length = 2
2. 25개 spans → Average span length = 3

 

4. Pre-training Data set

Pre-train 데이터에 따라 성능이 어떻게 달라지는지 비교하는 파트이다.

Unlabeled datasets

• C4 : Setup(2.2)에서 설명
• Unfiltered C4 : 전처리하지 않은 C4 데이터에서 영어만 추출한 데이터
• RealNews-like : C4 데이터에서 RealNews(Zellers et al., 2019) 방법으로 필터링한 데이터
• WebText-like : 1년 동안의 C4 데이터 중에서 고품질(레딧 사용자들의 평가)의 url에서 유래한 데이터
• Wikipedia : 영어 위키피디아 데이터
• Wikipedia + Toronto Books Corpus : 영어 위키피디아 데이터에 더 다양한 도메인 데이터를 위해 Toronto Books Corpus를 추가한 데이터

• 전반적인 성능은 C4 데이터가 우수
• 표에는 나오지 않았지만(Table 16), SQuAD 혹은 SGLUE의 subtask인 MultiRC나 ReCoRD 점수는 다른 데이터의 점수가 더 우수 → 데이터의 출처가 비슷하거나, 특정 도메인에 관한 데이터 경우에 해당 데이터가 더 높은 점수를 보임(ex. Wikipedia + TBC나 Wikipedia) → 하지만 특정 도메인에 한정된 데이터를 사용하는 것은 1. 데이터의 양을 충분히 확보하기 어렵고, 2. 모델의 일반화를 확보하기 어려움

 

Pre-training data size

• C4 dataset의 token 개수를 기준으로 C4 데이터의 양을 조절해 비교함 (Full dataset # tokens = $2^{35}$)
• 데이터가 충분히 많은 경우에는 반복하지 않거나 적은 횟수만 반복하여 학습하는 것이 좋음
• 너무 많은 반복학습은 downstram의 성능을 저하(과적합)
• 큰 모델에 적은 데이터를 반복학습하는 경우 이러한 성능저하가 두드러짐(과적합)

 

5. Training Strategy

Fine-tuning에 대한 설명

 

Fine-tuning methods

• Fine-tune 단계에서 문장 분류 모델은 일부분(일반적으로 출력층)만 학습하는 방법만으로 좋은 성능을 얻을 수 있음(Peters et al., 2019)
• 하지만 이 논문에서 사용하는 Encoder-Decoder 모델은 문장을 출력으로 내면서 여러가지 task를 수행하기 때문에 적용하기 어려움 → 모델 전체를 fine-tuning하지 않는 대안으로 Adapter layer 방법과 Gradual unfreezing 방법이 있음
  • Gradual unfreezing:  2^{18}/12 step마다 인코더와 디코더를 한 블록씩 unfreeze하면서 학습하는 방법(마지막 layer부터 먼저 학습)
  • Adapter layer: Adpter layer를 추가하여 해당 layer만 fine-tuning

• 결과
  • 파라미터 전체를 fine-tuning하는 방법이 성능이 가장 좋음
  • 데이터 셋이 작거나 데이터가 묘사하는 범위가 적은 경우(GLUE) 낮은 차원의 adapter layer도 일정 수준의 성능을 보이지만, 데이터가 더 다양해지는 경우(SGLUE)엔 adapter layer의 차원도 비례해야 성능을 높일 수 있음

 

Multi-task learning

Multi-task learning이란 하나의 unsupervised task에 대해서 pre-training을 진행한 후 fine-tuning하는 것 대신에 여러 종류의 task에 대해서 한 번에 training을 진행하는 것을 말한다.
논문에서는 이 multi-task learning 방식과 pre-train + fine-tune 방식의 성능 비교를 진행하고자 했다. Multi-task learning의 경우에는 각 task별 data 사용 비율에 따라 성능이 달라지게 되는데, 자칫 너무 많은 양의 data를 training에서 활용하게 된다면 training dataset을 memorize하게 된다. 그래서 논문에서는 여러가지 비율 설정 방식에 대해서 비교를 진행했다.

결과는 pre-train/fine-tune 방식이 가장 좋은 성능을 나타냈다. 그래서 저자는 pre-train/fine-tune 방식에 multi-task learning을 적용하고자 하였고, multi-task로 pre-training한 모델을 다시 하나의 task에 대해서 fine-tuning하는 방식을 고안해냈다.

 

Combining multi-task learning with fine-tuning

데이터를 어떤 형식으로 학습했을 때 성능이 좋은지 비교했다.
그 결과 multi-task pre-training + fine-tuning이 기존의 unsupervised pre-training + fine-tuning 방식과 거의 비슷한 성능을 나타내는 것을 확인하고 최종 모델의 학습에 해당 방식을 사용했다.

 

6. Scaling

만약 컴퓨팅 자원이 4배 더 많아졌다고 가정했을 때, 모델의 성능을 얼마나 향상시킬 수 있는지 실험했다.
모델의 파라미터(size), 학습 시간(training steps), 배치 사이즈, 4개의 모델을 사용하여 각 경우의 성능을 baseline과 비교했다.
큰 모델이 좋은 성능을 낸다는 것은 이미 공공연한 사실이었다. 하지만 컴퓨팅 자원을 4배 사용하는 것에 비해 성능 향상은 크지 않기 때문에 scale up은 하지 않았다.

 

여러 실험들을 거친 후 T5 모델이 선택한 기법들은 다음과 같다.

• Span-corruption objective
• Longer pre-training (1 million steps on batch size 211)
• Larger model (11B parameters)
• Multi-task pre-training + fine-tuning
• Beam Search

그리고 논문에서는 이 연구를 통해 얻게된 핵심 정보들을 다음과 같이 정리했다.

Text-to-Text Framework
Text-to-Text Framework를 사용하게 되는 경우 하나의 모델로 loss, decoding방식 등의 변경없이 generation, classification, regression task 모두에서 좋은 성능을 이끌어낼 수 있다.

Original Transformer Architecture
BERT나 GPT같은 모델처럼 Transformer의 encoder/decoder를 따로 떼어내서 사용하는 것이 아닌 original Transformer 구조를 그대로 사용하는 것이 text-to-text에서 더 좋은 성능을 나타낸다.

Denoising Span Objective
Pre-training시 사용하는 objective중에서는 BERT 계열에서 사용하는 denoising objective, 그 중에서도 SpanBERT에서 사용한 denoising span이 가장 좋은 성능을 나타낸다.

C4 Dataset
일부 downstream task에서 in-domain unlabeled dataset이 성능 향상에 큰 기여를 하지만, 도메인을 제한하게 되면 dataset의 크기가 훨씬 더 작아지게 된다. 연구를 통해서 더 크고 더 다양한 도메인을 아우르는 dataset이 성능 향상에 기여함을 알 수 있다.

 

---

배운 점

• 더 이상 big model이 아닌 작은 크기로도 좋은 성능을 낼 수 있는 모델이 개발되어야 한다.
• 더 효율적이고 좋은 pre-training 방식이 필요하다. 특히 general knowledge에 대한 학습이 가능한 방식이 필요하다.
• 각 task간의 유사성을 공식화해서 더 이상 unsupervised pre-training이 아닌 supervised pre-training으로 나아가야한다.

참고