옵티마이저 시리즈OptimizerURL옵티마이저란? [optimizer]https://ai-duck1.tistory.com/16SGD[Stochastic Gradient Descent]https://ai-duck1.tistory.com/17모멘텀[Momentum]https://ai-duck1.tistory.com/18RMSProphttps://ai-duck1.tistory.com/22Adamhttps://ai-duck1.tistory.com/23Adamwhttps://ai-duck1.tistory.com/35 모델을 학습하는데 있어서 손실을 최소화할 수 있도록 가중치를 업데이트하는 것을 옵티마이저(optimizer)라고 부른다. 현재 가장 보편적으로 사용하는 옵티마이저는 Adam으로 두 가지가 결합된 ..

https://www.isca-archive.org/interspeech_2010/mikolov10_interspeech.pdf 이 논문은 이론적으로 가능하였던 hidden state[은닉 상태]와 입력을 순차적으로 처리하면서 가변적인 입력이 가능하다는 아이디어를 처음으로 실제 데이터셋을 통해서 실용성을 증명하였다는 의의가 있다. RNN에 hidden state[은닉 상태]를 도입한 긴 문장에서 문맥을 파악을 할 수 있게 만들었고입력의 크기가 고정되었던 기존의 RNN과는 다르게 입력을 순차적으로 처리하면서 가변적인 입력이 가능하게 하였다는 의의가 있다. 해당 RNN을 바탕으로 음성 인식와 같은 데이터셋에서 복잡도[preplexity] 감소와 에러 감소의 성과를 거둔 언어 모델 [language mod..

7강 : Recurrent Neural Networks지난 강의에서는 CNN의 구성요소와 학습방법의 가중치 초기화와 하이퍼파라미터 탐색 방법 그리고 컴퓨터비전의 분류 데이터셋인 ImageNet을 통해서 딥러닝 모델이 본격적으로 도입이 되었다. 이번 강의에서는 현대 AI의 핵심인 Transformer의 이전에 사용되었던 Recurrent Neural Networks[RNN]을 알아보면서 번역기나 GPT처럼 입력이 순차적으로 들어올 때 딥러닝 모델은 어떻게 처리하는지 살펴볼 것이다. 기존 Non-recurrent Neural Networks 학습 Recurrent의 뜻이 반복된다라는 뜻이기 때문에 RNN[Recurrent Neural Networks]가 아닌 딥러닝 모델을 Non-recurrent Ne..

https://arxiv.org/pdf/1512.03385 2015년에 수백만장의 이미지를 분류하는 대회인 ILSVRC [ImageNet Large Scale Visual Recognition Challenge]에서 가장 좋은 성능을 좋은 ResNet을 구현하여 우승하였고 이 ResNet의 아이디어에서 층을 더 깊게 쌓는 딥러닝 모델이 등장하게 되었다. ResNet의 아이디어란 이전의 입력값을 그대로 결과값에 추가하는 Residual Connection[잔차 연결]을 이용하며 해당 개념은 아래에서 설명한다. 2015년 이전까지의 딥러닝 모델의 흐름2010년과 2011년의 사람이 직접 필터를 설계한 머신러닝 기반의 모델 이후로 2012년에 처음으로 CNN 기반의 딥러닝 모델인 AlexNet이 등장하여..

이 논문은 dropout이라는 기술을 딥러닝에 적용하여 성능 향상을 이루어낸 논문이다. 무작위로 unit을 비활성화함으로써 신경망의 공동 적응[co-adaptation] 현상을 방지하고, 가장 중요한 오버피팅을 극복하고 개별 뉴런의 특징 추출 능력을 향상하는 성과를 거두었다. 오버피팅의 문제만약 6시간 걸려서 학습한 모델에서 12시간만큼 학습한다고 하였을 때 우리는 당연히 더 좋은 성능이 나올 것이라고 기대한다. 하지만 더 오래 학습한 모델이 오히려 성능이 나빠졌다면 어떨까? 이는 문제집만 너무 열심히 봐서 결국에는 문제집을 전부 외워버린 현상으로 비유할 수 있다. 따라서 문제집에 있는 문제를 풀 때는 잘 풀지만 처음 보는 문제를 마주하면 오히려 더 못 푸는 모습을 떠올리면 이해할 수 있다. 딥러닝 ..

6강 : Training CNNs and CNN Architectures지난 강의를 통해서 CNN의 핵심 구조인 합성곱과 풀링에 대해서 살펴보았고 이번 강의에서는 CNN의 자세한 구조와 모델을 학습하기 위한 하이퍼파라미터와 정규화에 대해서 살펴볼 것이다. 그리고 본격적으로 딥러닝을 활용한 모델인 2012년의 AlexNet과 조금 더 발전된 VGGNet 그리고 ResNet까지 살펴볼 것이다. CNN의 구성 요소 CNN에 포함되는 구성요소는 다음과 같이 6가지 요소로 나눌 수 있다: 1. 합성공층 [Convolution Layers] 입력 데이터의 특징을 추출하기 위해서 사용되면 가중치 필터를 거치면서 아웃풋으로 특징맵(feature map)을 다음 층으로 넘긴다. 2. 풀링층 [Pooling Lay..