딥러닝의 역사: Attention | AI숏츠

 

딥러닝은 CNN으로 이미지 인식으로 성공을 거두고

텍스트와 음성 분야에서는 RNN을 적용하기 시작하였다.

하지만 RNN은 긴 텍스트와 같은 부분에서 기억력이 떨어지는 한계가 있었다.

이를 극복하기 위해 등장한 개념이 Attention이다.

---

기존 방식의 한계​

번역에서 쓰이는 기존 RNN 기반의 Seq2Seq 모델의 구조는 다음과 같다:

• 인코더[Encoder]: 입력 문장을 하나의 벡터로 요약
• 디코더[Decoder]: 그 벡터를 기반으로 출력 문장 생성

하지만 길이가 긴 문장의 경우 하나의 고정 벡터에 모든 정보를 담아야해서

앞부분 정보가 뒤로 갈수록 손실되는 문제가 발생한다.

 

사실 이 사진은 구글 번역기의 적은 데이터가 원인이지 RNN의 문제는 아니다.

 

Attention의 기본 아이디어

어텐션은 Bahdanau 등이 발표한 본문 "Neural Machine Translation by Jointly Learning to Align and Translate" [2014]에서 처음으로 등장함

 

어텐션의 핵심 아이디어는 다음과 같다:

• 디코더가 출력을 생성할 때 인코더의 모든 은닉 상태[hidden states]를 참고함
• 각 시점마다 중요한 단어에 가중치[attention weight]를 주고 가중합으로 전달

 

즉 문장의 특정 단어[맥락)에 더 집중할 수 있도록 학습하는 메커니즘이다.

 

개선된 Attention

처음으로 Attention이 나오고 다음 해 2015년에 Luong 등이 개선된 어텐션 제안:

• Dot-product attention: 단순 내적 연산으로 가중치 계산
• General attention: 내적 연산에 가중치 행렬 추가
• Concat attention: 벡터를 이어 붙인 뒤 변환하여 가중치 계산

 

이들은 계산량을 줄이고 성능을 높이는 데 기여함

 

영향과 의의​

• Attention은 긴 문맥 학습 문제를 해결함
• 자연어 처리(NLP)의 패러다임을 바꿈
• 이후 Attention을 활용한 Transformer가 나오며 음성, 영상 분야에도 확장됨

 

요약

Attention은 번역 모델에서 어디에 집중할지를 학습하여 대규모 모델의 핵심 기반이 됨

 

참고

• Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate (2014)
• Luong et al., Effective Approaches to Attention-based Neural Machine Translation (2015)