딥러닝의 역사: GPT-1,2 | AI숏츠

2018년에 BERT가 출시되면서 양방향 Transformer Encoder를 활용해

자연어 처리[NLP] 분야의 혁신을 가져왔는데 OpenAI는 또 다른 접근을 택했다.

 

거대한 언어 모델[LLM]이 단순히 다음 단어 예측만으로 학습하는 방향으로

이것이 바로 GPT[Generative Pre-trained Transformer]시리즈이다.

 

 

---

GPT-1 [2018]

• 규모: 파라미터 1.17억, 7000권의 책의 5천만 단어
• 구조: Transformer의 Decoder 구조를 활용
• 학습 방식: 대규모 텍스트에서 다음 단어 예측[Language Modeling]으로 사전학습
• 활용 방식: 사전학습 후, 각 과제에 맞게 파인튜닝[Fine-tuning] 수행

 

의의

• 단순한 언어 모델링만으로도 다양한 NLP 과제에 적용 가능함을 보임
• 그러나 여전히 다운스트림 태스크마다 파인튜닝이 필요했음

 

 

GPT-2 [2019]

• 규모의 확장:
• GPT-1의 1.17억 파라미터에서 GPT-2는 15억 파라미터로 대폭 확대.
• 학습 데이터: 8백만 개 문서, 40GB 텍스트
• Zero-shot 학습 :
• GPT-2의 가장 큰 혁신은 별도의 파인튜닝 없이도 새로운 과제 수행 가능하다는 점.

 

GPT-1과 GPT-2의 차이

구분	GPT-1	GPT-2
발표 연도	2018	2019
파라미터 수	1.17억	15억
학습 방식	사전학습 후 파인튜닝	대규모 사전학습 후 파인튜닝 없이도 활용 가능
특징	언어 모델링으로 다양한 과제 가능성 입증	Zero-shot 학습 가능, 사회적 파급력 증명

 

 

의의

• GPT-1은 언어 모델링 기반 접근의 가능성을 열었고
• GPT-2는 단순히 모델 크기를 키우는 것만으로도 성능이 급격히 향상된다는 스케일링 법칙[Scaling Law]을 보여주었다.

이후 GPT 시리즈는 계속 확장되며, GPT-3[2020] → ChatGPT[2022] → GPT-4[2023] 로 이어져 오늘날의 거대 언어 모[LLM] 시대를 열었다.

 

 

요약

 

GPT는 대규모 텍스트 기반 데이터를 통해서 사전학습하여
task들에서 엄청난 성능을 보여줌