딥러닝의 역사: Transformer | AI숏츠

 

2017년 Transformer의 등장은 딥러닝의 패러다임을 완전히 바꿔놓았고

오늘날 거대 언어 모델[LLM]의 시대를 여는 출발점이 되었다.

 

---

배경

 

 

2010년대 중반까지 자연어 처리[NLP]의 주류는

RNN[Recurrent Neural Network] 과 그 변형인 LSTM, GRU였다.

• 장점: 시퀀스[문장] 데이터를 처리할 수 있음
• 한계: 긴 문맥을 다루기 어렵고, 병렬 처리가 힘들어 학습 속도가 느림

 

이러한 한계를 극복하기 위해 새로운 접근법이 필요했다.

 

Transformer의 등장 [2017]

구글 브레인 연구팀이 발표한 논문 “Attention is All You Need”에서Transformer 모델이 제안되었다.

 

이 모델은 이름 그대로 Attention[어텐션] 메커니즘만으로 입력 시퀀스를 처리한다는 파격적인 아이디어였다.

핵심 아이디어

 

 

• Self-Attention
  •  문장의 모든 단어가 서로 얼마나 관련 있는지 가중치를 계산.
  •  예: “The cat sat on the mat”에서 “cat”과 “sat”의 관계를 직접 반영 가능.

• 병렬 처리 가능
  • RNN처럼 순차적으로 단어를 처리하지 않고
  • 모든 단어를 동시에 처리할 수 있음 -> GPU 학습에 최적화 
• Encoder-Decoder 구조
  • Encoder: 입력 문장의 의미를 벡터로 변환
  • Decoder: 해당 벡터를 바탕으로 출력 문장을 생성

 

성과와 영향

• 기계 번역에서 압도적인 성능 향상: 기존 RNN/LSTM 기반 번역기를 빠르게 대체.
• 범용 구조로 발전: 이후 BERT(2018), GPT(2018) 등 대규모 사전학습 언어 모델의 기반이 됨.
• 비전·멀티모달 확장: NLP뿐 아니라 이미지, 음성, 멀티모달 분야까지 Transformer 구조가 확산.

 

의의

Transformer는 딥러닝 역사에서 또 하나의 혁명적 전환점이었다.

이전까지는 딥러닝이 이미지 분야(CNN 중심)에서 성과를 내고 있었지만

Transformer는 자연어 처리와 그 너머의 AI 발전을 가속화시켰다.

 

 

요약

2017년 Transformer의 등장은 NLP의 패러다임을 완전히 바꿔놓았고
오늘날 거대 언어 모델(LLM)의 시대를 여는 출발점이 되었다.