미미로그

Perceptual Loss 는 GAN에서 사용되는 loss중 하나로 MAE(L1), MSE를 보완하기 위해 만들어진 손실함수입니다. Perceptual loss는 Content loss와 style loss 두 가지 종류가 있는데 Feature map을 그대로 사용하는 Content loss와 Gram matrix 연산을 한번 거쳐 Loss를 계산하는 Style loss가 있습니다. ▲ 왜 MAE, MSE가 적합하지 않은가?!! 더보기 MAE와 MSE는 둘 다 mean, 평균오차입니다. 여러가지 샘플이 존재할때, 그 평균에서 크게 벗어나지 않는것을 목표로 합니다. 따라서 generator의 목표가 진짜같은 이미지 a'보다는 a,b,c,d의 평균에서 최대한 가까운 a+b+c+d/4를 타겟으로 합니다. 그..

*본 글은 cs231n 13강의 내용을 정리 요악한 글입니다. 오늘은 비지도 학습의 대표격인 생성모델에 대해 알아보겠습니다. Supervised Learning vs. Unsupervised Learning Supervised 일명 지도학습은, 학습데이터의 label, 정답이 주어진 학습법입니다. 아래 그림과 같이 고양이 사진에 'cat'이라는 label이 주어지고, 또 여러 물체가 있을때 어떤 물체가 각각 어떤 클래스에 속하는지 label이 주어지기도 합니다. 이처럼 주어진 데이터와 그 label을 학습하며 새로운 data와 그에 따른 label을 맵핑하는 함수를 찾는데 지도학습이라고 할 수 있습니다. 반대로 Unsupervised Learning, 비지도 학습은 정답 레이블이 주어지지 않고 데이터를 ..

Least Squares Generative Adversarial Networks Xudong Mao et al. 2016을 바탕으로 작성한 리뷰입니다. 오늘은 GAN, DCGAN에 이어 LSGAN에 대해 리뷰해보겠습니다. LSGAN은 아이디어가 굉장히 직관적이면서 동시에 까다로운(?) 논문인거 같습니다. GAN에서 파생되어 나온 모델들이 대부분 그러하듯 LSGAN 또한 GAN의 문제점을 지적하며 개선된 내용을 주장합니다. 1. GAN은 sigmoid cross entropy를 사용하는데, 이는 vanishing gradient problem을 잘 잡지 못한다. LSGAN은 이런 vanishing gradients problem을 해결하였다. 2. GAN의 학습과정이 unstable한데 비해, LSGAN..

오늘은 1편에 이어 2016년에 발표된 DCGAN -Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks에 대한 리뷰입니다. 논문에 흥미로운 Figure들이 많아 읽은 논문입니다. DCGAN에 앞서 GAN에 대한 내용을 참고하고 싶으시면 제가 정리한→ GAN 리뷰 ←를 보고 와주세요. DCGAN의 실험 결과를 살펴보기 전에, 결과 검증시 중요한 두가지 기준에 대해 먼저 소개하겠습니다. 1. Model is not producing high quality samples via simply overfitting/memorizing training examples ☞ 한마디로 Generator가 학..

오늘 다룰 논문은 2016년에 발표된 DCGAN -Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks에 대한 리뷰입니다. 논문에 흥미로운 Figure들이 많아 재미있게 읽은 논문입니다. DCGAN에 앞서 GAN에 대한 내용을 참고하고 싶으시면 제가 정리한→ GAN 리뷰 ←를 보고 와주세요. DCGAN은 Deep Convolutional Generatice Adversarial Network의 약자로, GAN을 개선시키고 거기에 Convolution을 적용한 모델입니다. Ian Goodfellow가 처음 제안한 적대적 생성 신경망(GAN)은 획기적이었으나 구조가 다소 불안정하고, NN이 기본적..

이번 게시물에서는 GAN의 타당성에 대한 증명 2개를 해보겠습니다. 아직 GAN의 작동 원리에 대한 이해가 깊지 않다면 아래 게시물 ↓ 을 먼저 보고 와주세요 :) 증명에 앞서, GAN을 비롯한 모든 생성 모델 (Generative Model)의 목적을 다시 한번 떠올려보겠습니다. 내가 닮고자 하는 data의 분포와 가장 유사하도록 Generator의 분포를 형성하는것이 바로 그 목적이었습니다. 다른 말로, $P_{data}$와 $P_g$ 거리가 최소가 될 수 있도록 만들어주는 것입니다. 이를 수식으로 표현하면, ↓ $$P_{data} = P_g$$ 따라서 GAN은 아래 두가지 를 증명합니다. 1. $P_{data} = P_g$일때가 Global Optimum인가 : $P_{data}$와 gernerat..

본 글은 Ian J. Goodfellow가 2014년에 발표한 GAN(적대적 생성 신경망) 논문을 참고해서 작성했으며, 제 주관적 견해와 정보들이 정리되어 있습니다. Paper Review에 들어가기 전 GAN의 역사와 현황에 대해 간략히 말하자면, GAN이 최초로 제안된 2014년 이후로 수많은 파생 GAN들이 잇따라 발표되었으며 그 개수가 너무나도 많아(..ㅠ) 따라갈 수 있을지 의문이 든다.. GAN을 필두로 DCGAN, LSGAN 등등 GAN 역사에 한 획을 그은 연구들을 중심으로 더 리뷰할 예정이다! 다양한 GAN들을 트랙킹하고 싶다면 ☞☞☞ The-Gan-Zoo 0. Abstract 논문의 저자는 경쟁하는/적대적인 관계를 가지고 있는 두개의 모델을 동시에 훈련시키는 새로운 프레임워크를 제안한다..