딥러닝의 역사: BERT | AI숏츠

2017년에 Transformer가 등장하면서 자연어 처리[NLP]에서 강력한 성능을 보였지만

초기에는 문장 번역과 같은 특정 과제에 맞춰 학습되는 경우가 많았다.

NLP는 번역 뿐만 아니라 질의응답, 문서 분류 등 과제가 다양하게 존재하므로

하나의 모델이 다양한 과제를 처리할 수 있어야 했고

이때 등장한 모델이 구글의 BERT이다.

 

배경

2017년에 Transformer가 등장하였지만초기에는 문장 번역과 같은 특정 과제에 맞춰 학습되는 경우가 많았다.

NLP는 번역 뿐만 아니라 질의응답, 문서 분류 등 다양하게 존재하므로

하나의 모델이 다양한 과제를 처리할 수 있어야 했고

한 번 학습된 언어 모델을 여러 과제에 재활용할 수 있는 방법이 필요하였음

 

BERT의 등장

2018년 구글이 발표한 BERT[Bidirectional Encoder Representations form Transformers]는

사전학습[Pre-training]과 파인튜닝[Fine-tuning]이 핵심적으로 사용됨

 

 

핵심 아이디어

​

1. 양방향 학습 [Bidirectional]

• 기존 언어 모델은 왼쪽→오른쪽[또는 반대] 방향으로만 문맥을 학습.
• BERT는 Transformer의 Self-Attention을 활용해 양쪽 문맥을 동시에 고려.​

2. 사전학습 [Pre-training]

• Masked Language Modeling: 문장에서 일부 단어를 가려 모델이 이를 맞추도록 학습.
• Next Sentence Prediction: 두 문장이 실제로 이어지는지 여부를 예측.

​

3. 파인튜닝 [Fine-tuning]

• 다양한 다운스트림 테스크[질의응답, 분류, 번역 등]을 적은 데이터만으로 재학습 가능

 

 

성과와 영향

• 다양한 NLP 과제의 벤치마크에서 압도적인 성능을 기록
• 사전학습 모델 시대 개막: 한 번 거대한 모델을 학습시킨 뒤 파인튜닝 적용
• 후속 연구 촉발: 다른 BERT 시리즈 뿐만아니라 이후 GPT에도 영향을 미침

 

요약

BERT는 데이터를 많이 모아 사전학습된 대규모 언어 모델과 다양한 과제에 맞는 파인튜닝하는 표준을 제시함