딥러닝의 역사: GPT-3 | AI숏츠

2018년과 2019년에 OpenAI에서 GPT-1과 GPT-2가 각각 출시 되었다

그러나 이 버전에서는 답변이 어색하고 편향되었다는 문제가 있었다.

이후 출시된 GPT-3 버전은 이러한 문제들을 고치고  GPT 붐을 일으켰다.

 

---

기존 GPT의 문제

2019년에 출시된 GPT-2는 15억 개 파라미터로 확장되면서 놀라운 생성 능력을 보였으나 비논리적인 답변과

편향·유해한 출력 문제가 지적되었다.

또한 OpenAI는 잠재적 오남용 위험 때문에 GPT-2를 처음에는 제한적으로 공개했다.

 

GPT-3의 출시

• 출시 시점: 2020년 6월, 논문 “Language Models are Few-Shot Learners”와 함께 공개.
• 규모: 1,750억 개 파라미터를 사용해 당시 세계 최대 규모 언어 모델로 주목받았다.
• 변화점: 소수의 예시[few-shot learning]만으로도 유창한 문장 생성과 다양한 과제 수행 능력을 발휘함.

 

GPT-3의 특징

• Few-shot / Zero-shot 학습: 추가적인 미세 조정 없이 예시 몇 개만으로도 다양한 언어적 과제를 해결.
• 맥락 이해 강화: GPT-2보다 훨씬 자연스럽고 긴 문맥에서도 일관성 있는 답변을 생성.
• 범용성: 문서 작성, 번역, 코딩, 질의응답, 창작 등 다방면 활용 가능.
• 한계점: 여전히 사실성[hallucination]문제와 사회적 편향이 남아 있었음.

생성형 AI의 대표적인 문제: 할루시네이션

영향과 의의

• AI 대중화 촉발: 언어모델이 단순 연구용을 넘어 실질적인 서비스 및 상업적 활용 가능성을 입증
• AI 응용 확산: 챗봇, 자동 번역, 글쓰기 도구, 프로그래밍 보조 도구 등 다양하게 응용함
• 후속 연구의 기반: GPT-4, ChatGPT로 이어지는 대규모 언어모델 연구 붐 형성

요약

GPT-3는 실제 작업에서 사용하는데 있어서 좋은 성능을 보여주면서 생성형 AI의 붐을 일으켰다.