딥러닝의 역사: DeepMind | AI숏츠

 

 

2013년은 딥러닝이 단순한 이미지 인식을 넘어

게임 플레이와 강화학습으로 확장된 해이다.

특히 DeepMind가 발표한 연구는 딥러닝이 스스로 환경을 보고

학습할 수 있다는 가능성을 보여주었다.

---

1. 배경

• 딥러닝은 이미지 분야 (AlexNet)에서 큰 성과를 냈지만
• 로봇와 같은 행동을 하는 분야에서는 아직 활용되지 못함

 

Deep Mind는 딥러닝 + 강화학습을 결합해 이 문제를 해결하려 했다.

 

 

2. Deep Q-Network [DQN]

 

DeepMind 연구진은 2013년 "Playing Atari with Deep Reinforcement Learning"

논문을 발표했다.

여기서 처음으로 Deep Q-Network (DQN) 라는 개념이 소개되었다.

 

핵심 아이디어는 다음과 같다:

• 원본 픽셀(게임 화면)을 입력으로 사용
• CNN(합성곱 신경망)을 이용해 특징 추출
• Q-learning과 결합하여 게임에서 행동을 학습

즉 사람이 특징을 설계하지 않아도 딥러닝이 자동으로 게임 전략을 배운다는 점이다.

 

Q 함수란?

• 강화학습에서 이용되는 개념으로
• 어떠한 행동을 해야 게임을 깰 수 있는 지 나타내도록하는 함수
• 행동을 하는 주체인 에이전트가 상호작용하며 상태와 행동의 가치를 수치로 표현한다.

 

3. 구조와 원리

 

DQN의 구조는 크게 세 부분이 존재:

• 입력: Atari 게임 화면
• CNN: 시각적 특징 추출
• Q-Network: 각 상태에서 가능한 행동의 Q 값 계산

​

안정적인 학습을 위한 핵심 기법 두 가지:

• Experience Replay: 과거 경험을 샘플링해 안정적 학습 보장
• Target Network: 학습의 안정성을 위해 별도의 네트워크 사용

 

이러한 구조 덕분에 학습이 불안정해지지 않고 꾸준히 성능을 올릴 수 있었다.

 

Atari 게임 중 Breakout이라는 벽돌 깨기 게임을 스스로 학습해서 클리어 해나가는 모습

 

 

4. Atari 게임 실험

 

DeepMind는 Atari 2600이라는 게임에 DQN을 적용하였다.

학습 결과로:

• 사람의 수준을 뛰어넘는 모습을 보여줌
• 블록을 깨는 게임(Breakout)에서 구석을 뚫어 공을 올려 보내는 요령까지 학습함

 

단순한 패턴 인식이 아니라 게임이라는 환경 속에서

목표를 달성하기 위한 행동 학습을 보여줌

 

5. 영향과 의의

• 딥러닝이 지각(vision)을 넘어 행동(action) 학습까지 가능하다는 것을 증명
• 강화학습 연구의 새로운 장을 열었음
• 이후 2016년 알파고(AlphaGo)로 이어짐

 

요약

 

DeepMind는 스스로 게임 전략을 학습하게 했고

이것이 훗날 알파고와 같은 AI 발전의 기반이 됨