2014년에 발표한 seq-to-seq 아키텍쳐에 관한 논문
기존에 존재한 RNN 기반의 LSTM과 GRU 모델의 아키텍쳐들이 긴 문장(시퀀스)를 처리할 수 없다는 문제점인 long term dependency를 완화하였고 기계 번역 분야에서 기존 확률기반 기계 번역(SMT)와 근접하거나 뛰어난 성능을 보여주었다.
기존 한계점
DNN(Deep Neural Network)는 병렬로 계산을 할 수 있으며 역전파를 통해 학습을 할 수 있다는 점이 데이터가 많아질수록 더욱 성능이 증가한다는 장점이 존재한다. 하지만 이러한 강점에도 불구하고 치명적인 단점이 존재하는데 입력 데이터를 벡터 공간으로 표현(representation)할 때 이 벡터의 크기가 고정이라는 것이다. 기계 번역을 예시로 입력 문장이 긴데 벡터의 크기가 작으면 정보 손실이 발생하여 정확하지 못한 번역을 제공할 수 있다. 반대로 벡터의 크기가 크면 이를 학습하기 위해서 시간과 비용이 비싸지는 것을 추론할 수 있다. 이러한 문제는 실제 번역환경에서 새로운 문장을 번역할 때 문장의 길이를 알 수 없으므로 치명적이다.
Sequence-to-Sequence
해당 논문에서 제안하는 모델의 아키텍처는 2가지로 요약할 수 있다.
- 입력 문장(시퀀스)를 고정된 크기의 벡터로 압축하는(context vector) LSTM
- 출력 문장을 생성하는 LSTM
입력 문장인 "ABC"를 읽고 출력 문장 "WXYZ"를 생성한다. End Of Sequence의 약자인 <EOS> 토큰이 보이면 출력을 시작하거나 종료한다.
SMT (Statistical Machine Translation)
SMT란 확률 모델을 이용하여 원문의 구(phrase) 단위를 대상 언어의 구로 매핑하는 전통적인 번역 방식으로 해당 논문의 Baseline으로 사용되었다. 또한 SMT가 선택한 1000개의 후보를 LSTM이 다시 한번 계산하여 두 점수를 평균을 내어 최종 점수를 생성하는 재순위화(rescoring)을 사용하였는데 이 방식이 가장 성능이 높게 나왔다.
The Model
표준 RNN에서 입력 시퀀스와 출력 시퀀스가 있을 때 다음과 같은 식을 전개할 수 있다.
간략히 보면 t 시점의 hidden state는 t 시점의 입력과 직전의 은닉 상태의 영향을 받고 t 시점의 출력은 hidden state의 영향을 받는다는 것을 확인할 수 있다. 하지만 번역에서 입력과 번역된 출력 문장의 길이가 서로 다른 경우에는 어떻게 다루어야 하는지 이 식으로는 확인할 수 없다.
가장 간단한 방법으로는 단일 RNN을 통해 입력 문장을 고정된 벡터로 압축(mapping)을 하고 다른 RNN을 통해 벡터에서 출력 시퀀스로 맵핑하는 방법을 사용한다.
추가로 본 논문에서는 3가지 방법을 더 도입하였다.
1. 2개의 LSTM을 사용하여 입력 시퀀스와 출력 시퀀스에 각각 사용하였다.
2. 4개 이상의 layer로 된 deep LSTM
3. 입력 문장을 반대로 뒤집어서 맵핑한다. 예를들어 a,b,c에서 α,β,ɣ로 번역한다고 하면 a,b,c를 c,b,a로 뒤집는다.
이러한 방법들이 성능을 더욱 올려주었고 3번의 경우 short term dependency을 적용해 최적화를 더욱 쉽게 만든다.
Experiments
데이터셋 디테일
WMT'14 English to Frensh 데이터셋을 사용하여 1200만개의 문장과 3억 8400만개와 3억 4백만개의 불어와 영단어를 학습시켰다. 16만개의 빈출 영단어와 8만개의 빈출 불어 단어의 단어집을 활용하여 이외의 단어들은 UNK로 처리하였다.
Decoding and Rescoring
학습을 할 때 아래의 확률 평균을 최대화함으로써 입력 문장 S에서 적절한 변환 T를 구할 수 있다.
학습이 완료되고 나서 p(T|S)중에서 가장 확률이 높은 T를 선택한다.
Reversing the Source Sentences
모델부분에서 언급을 하였듯이 번역하고자하는 source sentence를 뒤집어서 평가를 하였을 때 테스트의 perplexity(낮을수록 우수)가 5.8에서 4.7로 감소하였고 BLEU(높을수록 우수)는 25.9에서 30.6으로 증가하였다.
논문에서는 완벽한 설명은 할 수 없지만 이러한 현상이 입력 문장과 타겟 문장의 거리가 가까워지면서 역전파 과정에 좀 더 쉽게 진행이 된다는 분석을 하였다.
Training details
- 모든 파라미터를 -0.08에서 0.08사이로 초기화한다.
- SGD를 옵티마이저로 사용하여 학습률을 0.7로 고정하여 사용하다가 에포크가 5를 넘기면서 절반으로 줄였다.
- gradient vanishing이 발생하지않으나 오히려 exploding이 발생할 수 있다. 따라서 강한 제약을 걸어 exploding되는 것을 방지
- 배치사이즈 128을 채우기 위해서 대부분 같은 길이의 문장으로 구성하였고 2배 빠른 속도로 학습함
Parallelization
8개의 GPU를 이용하여 LSTM의 각 층별로 다른 GPU를 사용하여 계산하였으며 남은 4개의 GPU로 softmax를 병렬화하였다. 총 학습을 10일에 걸쳐 구현하였다.
Experiments Results
5개의 뒤집은 LSTM에서 가장 좋은 성능을 보여주었다는 것을 확인할 수 있다. 그리고나서 SMT와 LSTM을 결합하여 테스트한 결과는 다음과 같다.
rescoring을 한 LSTM이 기존 WMT와 0.5이내로 성능이 나왔으며 이는 단어집에 없는 단어들을 LSTM을 처리할 수 없음을 감안했을 때 매우 뛰어난 성능을 보여주었다.
Performance on long sentences
아래의 표는 문장 길이와 단어 빈도수에 따른 LSTM과 baseline(SMT)를 비교한 표이다. 문장의 길이가 길어짐에도 성능이 SMT보다 우위에 있으며 79만큼 길어지는 것이 아니라면 어느정도 long term dependency를 해결하고 있다는 것을 보여준다.
Model Analysis
2차원으로 PCA 투영하여서 LSTM의 은닉층이 표현학습을 잘하였는지를 확인하였다. 위와같이 유사한 문장끼리 뭉치는 모습을 보여주며 문장의 단어들을 벡터로 잘 맵핑하였다는 것을 확인할 수 있다.
결론
deep LSTM을 도입하면서 단어집의 제한에도 불구하고 기존 SMT 기반 시스템을 뛰어넘었다. 따라서 더 많은 데이터를 수집하여 활용할 수 있다면 이보다 더욱 좋은 성능으로 향상시킬 수 있다.
이 Sequence to Sequence 모델은 긴 문장에서도 정확하게 번역을 할 수 있는 능력이 존재하며 직관적이고 간단하게 구현을 할 수 있다는 장점이 있다. 하지만 아직 긴 문장에 대해서 한정된 메모리를 갖고 있으며 이는 고정된 벡터로 모든 문장을 압축하기에는 한계가 있다는 문제이다. 따라서 이후에 나오는 attention과 transformer가 이러한 문제를 상당부분 해결하며 인공지능 분야에 큰 혁신을 불러왔다.