https://www.isca-archive.org/interspeech_2010/mikolov10_interspeech.pdf
이 논문은 이론적으로 가능하였던 hidden state[은닉 상태]와 입력을 순차적으로 처리하면서 가변적인 입력이 가능하다는 아이디어를 처음으로 실제 데이터셋을 통해서 실용성을 증명하였다는 의의가 있다.
RNN에 hidden state[은닉 상태]를 도입한 긴 문장에서 문맥을 파악을 할 수 있게 만들었고
입력의 크기가 고정되었던 기존의 RNN과는 다르게 입력을 순차적으로 처리하면서 가변적인 입력이 가능하게 하였다는 의의가 있다.
해당 RNN을 바탕으로 음성 인식와 같은 데이터셋에서 복잡도[preplexity] 감소와 에러 감소의 성과를 거둔 언어 모델 [language model, LM]이다.
모델 소개
RNN을 가장 처음으로 제안하였던 홉필드 네트워크부터 시작해서 논문이 나왔던 2010년 즈음에는 Bengion, Goodman이 제안한 모델등 다양한 RNN 모델이 있었다. 하지만 Elman network에서 처음으로 은닉층을 활용하여 모델을 구현하였다.
이전의 Bengio가 제시한 Feedforward 기반 언어 모델은 고정 길이의 단어로 이루어진 시퀀스만 입력으로 받을 수 있다. 이는 멀리 떨어진 단어의 문맥을 파악하는데 한계가 있는데 단어 간의 장기적인 의존성[dependency]가 떨어진다는 뜻이다. 논문에서도 Bengio의 접근방식으로는 5개의 10개의 이전 단어만 처리하여 다음 단어를 예측한다고 설명하고 있다.
그래서 Elman 모델의 장점은 Feedforward대신 hidden state를 활용하여 입력 단어를 받는다. 현재 시점 t는 이전 시점 t-1를 복사가 된 형태로 현재 입력에 따라 가중치가 업데이트된다. 은닉 상태를 이용하여서 네트워크는 가변적인 길이의 과거 문맥[context]를 기억할 수 있다.
동적 모델 [Dynamic model]
동적 모델의 반대인 정적 모델 [static model]의 경우 테스트 중에는 가중치 업데이트가 없다. 하지만 동적 모델에서는 추론[test 데이터]에도 게속 학습을 한다. 이를 online 학습이라고도 한다.
cache model과 유사하면서도 연속 공간[continuous space]에서 일반화가 가능하다는 장점이 있다. 하지만 음성인식을 하는 실험에서는 인식 오류가 누적될 수 있다는 위험도 존재한다.
실험 결과
해당 논문에서는 두 가지의 데이터셋으로 실험을 진행하였다.
- WSJ [Wall Street Journal]
- 유명한 경제 신문인 월 스트리트 저널에서 텍스트를 깔끔한 영어 음성의 형태이다.
- NIST RT05
- NIST는 미국 국립표준기술연구소
- 해당 데이터셋은 실제 회의 음성 데이터로 되어있다.
- WSJ보다 대화가 겹치거나 원거리 마이크 등 다양한 조건들로 인해 난이도가 높은 데이터셋이다.
WSJ 결과
비교 대상 모델은 기존 n-gram 모델이며 KN5의 형태로 해당 논문에 표시되어있다.
복잡도[perplexity]: 최대 50%만큼 감소
WER[Word Error Rate]: 12%정도 감소
NIST 결과
Baseline Language Model
- 13억 단어 이상으로 학습된 대형 backoff 언어 모델
RNN LM
- 540만 단어만 사용
결과
- 적은 데이터의 RNN이 backoff보다 미세하게 좋음
- RNN과 backoff를 결합하였을 때 WER이 5%가량 감소함
- 기존 통념인 언어 모델 성능은 데이터양이 전부다라는 것을 반박
Conclusion
기존에 존재하였던 n-gram 모델보다 RNN이 더 적은 데이터로도 더 좋은 성능을 낸다는 것을 보여주었으며 복잡도 감소 그리고 on-line 학습[dynamic model]와 같은 의의가 있다.
하지만 만약 문맥이 매우 긴 경우에는 한계가 아직 존재하며 계산 비용이 높아 학습 시간이 길다는 문제점을 추후 과제로 남겨두고 있다.
이 논문의 의미
RNN 이후로 LSTM, GRU, Transformer의 출발점이며 딥러닝 기반 언어 모델이 본격적으로 사용되기 시작하였다는 점에서 의의가 존재한다.