Contrastive Learning

• 2개의 input을 네트워크에 주입했을 때, input이 similar인지 different인지 구분하는 학습 방법

• 이미지가 feature로 잘 representation 되어야 하고, embedding된 두 데이터에 feature간 similarity를 계산하는 메커니즘 필요
• eature로 잘 representation 되어야한다는 것은, 동일한 class의 데이터들이 feature map 상에서 다른 class와 구별이 잘 된다(distince가 멀다)는 것을 의미함

SimCLR Framework

1. original image로 data augmentation을 수행해서 x_i, x_j 생성
2. 동일한 encoder(CNN)에 넣어서 feature representation h_i, h_j 생성
3. FC Layer를 거쳐 최종 output인 z_i, z_j를 얻고 두 값의 similarity를 계산

cf. FCN(Fully Connected Networks)

• 완전히 연결되었다는 뜻으로, 한 층의 모든 뉴런이 다음 층의 뉴런과 연결된 상태
• 엄청난 수의 연결과 네트워크 매개변수를 필요
• 2차원 배열 형태 이미지를 1차원으로 평탄화를 수행.