2015년에 발표한 Attention 매커니즘을 처음으로 소개한 논문이다. 기계 번역 분야에서 신경망 기계 번역(Neural Machine Translation)은 해당 논문이 발표된 2015년 즈음에는 새로운 기술이었다. 그전까지 보편적으로 사용된 phrase-based translation 또는 statistical machine translation으로 불리우는 통계 기계 번역은 여러 개의 독립적인 서브 모듈로 구성된다. 번역(translation), 언어(language), 정렬(alignment), 재정렬(reordering) 등이 이에 해당한다. 이러한 방법은 각 서브 모듈을 따로 설계, 학습 그리고 튜닝을 해야만했다. 따라서 신경망 기계 번역은 하나의 거대한 신경망으로 통합하여 학습을 하기위..

2014년에 발표한 seq-to-seq 아키텍쳐에 관한 논문 기존에 존재한 RNN 기반의 LSTM과 GRU 모델의 아키텍쳐들이 긴 문장(시퀀스)를 처리할 수 없다는 문제점인 long term dependency를 완화하였고 기계 번역 분야에서 기존 확률기반 기계 번역(SMT)와 근접하거나 뛰어난 성능을 보여주었다. 기존 한계점DNN(Deep Neural Network)는 병렬로 계산을 할 수 있으며 역전파를 통해 학습을 할 수 있다는 점이 데이터가 많아질수록 더욱 성능이 증가한다는 장점이 존재한다. 하지만 이러한 강점에도 불구하고 치명적인 단점이 존재하는데 입력 데이터를 벡터 공간으로 표현(representation)할 때 이 벡터의 크기가 고정이라는 것이다. 기계 번역을 예시로 입력 문장이 긴데 벡..

9강 Detection, Segmentation, Visualization, and Understanding 지난 강의에서 Attention과 Transformer의 구조에 대해서 살펴보며 문장 또는 이미지에서 어느 부분을 집중할 수 있도록 만들었다. 이번 강의에서 부터는 컴퓨터비전의 task 4가지에 대해서 살펴볼 것이며 특정 방법은 어떤 문제가 있고 이를 어떠한 발전과정을 거쳐 극복해 왔는지 그 흐름을 집중해서 보는 것을 추천한다. Computer Vision Tasks컴퓨터 비전의 테스크는 다음과 같이 4가지로 볼 수 있다. 왼쪽에서부터 단순히 물체를 분류하는 Classification, 픽셀 단위로 객체와 배경을 분류하여 이미지를 나누는 Semantic Segmentation, 물체를 감지하여 박..

Stanford 대학교에서 2023년에 발표한 이미지 생성 논문 해당 논문이 발표된 2023년에는 diffusion 모델을 활용하여 이미지 생성이 대중적으로 많이 사용되기 시작한 시기이다. 사용자의 프롬프트를 받아서 이를 이미지로 생성하는 text-to-image 모델은 매우 고품질의 이미지를 생성할 수 있다. 그러나 정확한 자세나 모양 등은 텍스트로만 표현하기에는 어렵고 이는 모델이 이미지를 컨드롤하는데 한계가 존재한다. 이러한 미세한 컨트롤을 모델이 할 수 있도록 학습하는 것은 어려웠는데 문제점이 존재한다. 물체 모양, 사람 포즈 같은 특정 문제만을 위해서 학습할 수 있는 데이터 수는 가장 기본적인 text-to-image모델의 데이터수보다 5만배 적다. 즉 한정적인 데이터만을 활용할 수 있다. 만..

8강 : Attention and Transformers지난 강의에서 RNN(Recurrent Neural Networks)를 통해서 입력과 출력의 길이가 달라도 처리 가능한 구조를 배웠다. 번역과 같은 테스크에서 사용하는 RNN을 살펴보고 기존 RNN의 문제점과 이를 극복하기 위한 Attention과 Transformer에 대해서 살펴볼 것이다. 그러기 위해서 Transformer를 처음으로 도입한 구글의 "Attention is All You Need"이 제안한 방법을 알아볼 것이다. Sequence to Sequence with RNNs기계 번역의 경우, 번역을 하기위한 입력 문장이 주어지고 모델을 통과하여 번역이 된 출력 문장이 나온다. 문장을 넣어서 문장이 나오는 형태를 sequence to ..

2022 Salesforce 회사에서 발표한 컴퓨터비전 논문 이미지와 텍스트간의 상관관계를 인공지능이 스스로 학습하도록 하는 기술인 Vision-Language Pre-training(VLP)을 통해서 이미지를 이해하고 인식하는데 있어서 큰 성공을 거두었지만 두 가진 주요 한계가 존재하였다. 모델 관점: 기존에 있었던 방법들은 인코더 기반 또는 인코더-디코더 모델 중 하나를 사용해왔었는데 각각 이미지 캡셔닝 같은텍스트 생성이나 이미지-텍스트 검색 task에 대해서 적절하지 않았다.데이터 관점: CLIP과 논문에서는 웹에서 수집된 이미지-텍스트 쌍을 Pre-training에 활용한다. 이는 데이터셋 규모의 확대라는 성능 향상이 존재하였지만 잡음이 많은 데이터는 비전-언어 학습에 적절하지 않다. 이름에서 알..