[논문리뷰] 내 마음대로 Triplet Network 논문 리뷰

논문 링크 : https://arxiv.org/abs/1412.6622

Deep metric learning using Triplet network

왜 이 논문을 찾아보았냐 함은... Feature Extraction을 찾다보니 ArcFace를 찾게되고.. arcface를 이해하기 위해서 여러가지 찾다보니 triplet 어쩌구들이 나오고.. triplet loss를 찾으니 triplet network가 나오는 이 의식의 흐름..!! 

아무튼 이번에 리뷰할 논문은 Deep Metric Learning using Triplet Network 입니다. 제가 이전 포스트에서 FaceNet을 리뷰하면서 Triplet Loss에 관해 설명드렸는데요, 이 논문은 triplet loss를 잘 활용하는 방안으로 샴 네트워크를 활용해 훨씬 간단하게 모델을 설계했는데요, facenet의  inception이 떡칠(..)된 모델보다 훨씬 명료하고 학습 속도도 빠르게 이끌어냈습니다. 논문 인용 수도 1000회가 넘어서 꽤 인기있는(?) 논문이라고 생각합니다. 

그럼 논문 리뷰를 시작하도록 하겠습니다 ㅎㅁㅎ

---

Triplet Network

Triplet Network에서는 facenet과 같이 3개의 데이터가 입력으로 주어집니다. 하나는 $x$는 anchor로 기준, $x^-$는 anchor와 일치하지 않는 입력, $x^+$는 anchor와 같은 클래스인 입력입니다. 

이 세개의 인스턴스 각각 동일한 weight를 공유하고 있는 feed forward 네트워크(=샴 네트워크)에 들어갑니다. $x$를 기준으로 $x$와 일히하는 클래스를 가진 $x^+$와 $x$와 일치하지 않는 클래스를 가진 $x^-$가 각각의 네트워크를 통과하면 하나의 임베딩된 중간 결과가 나오는데, 이들의 L2 distance들을 구합니다. 마지막에 그 distance들을 가진 [[2], [5]]와 같은 형식의 벡터 값이 나옵니다. 

이러한 네트워크 아키텍처는 $x$를 $x^-$와 $x^+$로만 분류하기 때문에 2-class 분류 문제같이 보이게 합니다. 그래서 약간의 stress를 주었는데, 그것이 metric learning입니다. label은 어느 한 샘플이 $x$에 가까운지 아닌지만 결정합니다. 여기에서 "가깝다"는 개념은 같은 라벨이라고 해석할 수 있습니다.

 

Training

기존의 CNN과 비슷하게 학습은 간단한 이진 분류의 negative-log-likelihood SGD로 수행됩니다. 그리고 Triplet Network의 핵심인 Loss함수를 Softmax 결과의 MSE를 적용한 것으로 대체했습니다.

여기서 $||\frac{Net(x) - Net(x^+)}{Net(x) - Net(x^-)}||^2_2$의 값이 0에 수렴할수록 loss 값도 0에 수렴하게 됩니다. 그리고 이는 샴 네트워크를 통해 각 3개 샘플에 대해 back-prop 알고리즘이 동시에 업데이트 되도록 할 수 있습니다.

 

Results

Mnist 데이터셋에서 샴네트워크보다 조금 더 좋은 성능을 보이네요. 

왼쪽이 CIFAR10 데이터로 학습한 결과고 오른쪽이 Mnist 결과입니다.

 

 

---

어쩌다 보니 리뷰한 Triplet Loss...... paperswithcode의 링크도 남겨두고 마무리하겠습니다 (〃⌒▽⌒〃)ゝ

https://paperswithcode.com/paper/deep-metric-learning-using-triplet-network

Papers with Code - Deep metric learning using Triplet network