2018년에 BERT가 출시되면서 양방향 Transformer Encoder를 활용해자연어 처리[NLP] 분야의 혁신을 가져왔는데 OpenAI는 또 다른 접근을 택했다. 거대한 언어 모델[LLM]이 단순히 다음 단어 예측만으로 학습하는 방향으로이것이 바로 GPT[Generative Pre-trained Transformer]시리즈이다. GPT-1 [2018]규모: 파라미터 1.17억, 7000권의 책의 5천만 단어구조: Transformer의 Decoder 구조를 활용학습 방식: 대규모 텍스트에서 다음 단어 예측[Language Modeling]으로 사전학습활용 방식: 사전학습 후, 각 과제에 맞게 파인튜닝[Fine-tuning] 수행 의의단순한 언어 모델링만으로도 다양한 NLP 과제에 적용 가능함을 ..