2014년에 발표한 seq-to-seq 아키텍쳐에 관한 논문 기존에 존재한 RNN 기반의 LSTM과 GRU 모델의 아키텍쳐들이 긴 문장(시퀀스)를 처리할 수 없다는 문제점인 long term dependency를 완화하였고 기계 번역 분야에서 기존 확률기반 기계 번역(SMT)와 근접하거나 뛰어난 성능을 보여주었다. 기존 한계점DNN(Deep Neural Network)는 병렬로 계산을 할 수 있으며 역전파를 통해 학습을 할 수 있다는 점이 데이터가 많아질수록 더욱 성능이 증가한다는 장점이 존재한다. 하지만 이러한 강점에도 불구하고 치명적인 단점이 존재하는데 입력 데이터를 벡터 공간으로 표현(representation)할 때 이 벡터의 크기가 고정이라는 것이다. 기계 번역을 예시로 입력 문장이 긴데 벡..