ReStyle 이해하기
2022. 8. 1. 18:50
인공지능/computer vision
초록 최근 GAN 활용에 있어서 unconditional한 이미지 합성이 주목 받음. 학습된 GAN의 latent code로 이미지를 invert하는 과제가 매우 중요. 실제 이미지를 조작하고 네트워크가 학습한 semantics를 활용할 수 있음. 현재 invert 방식의 한계를 인지하고, 새로운 invert 전략을 제시하고자 함. iterative refinement (반복 세분화) 메커니즘을 도입하여, 현재의 encoder 기반 invert 방법론을 확장한 것임. 주어진 이미지의 latent code를 single pass로 직접 예측하는 대신에, encoder로 하여금 self-correcting(자가 수정) 방식으로 invert된 latent code의 현재 추정값에 대하여 잔차(residual)..
p2S2p 이해하기
2022. 8. 1. 18:46
인공지능/computer vision
Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation 초록 포괄적인 image-to-image 변환 프레임워크 pixel2style2pixel. pSp 프레임워크는 pretrained StyleGAN 생성기에 입력될 일련의 style vector를 직접 생성하는 새로운 encoder 네트워크를 기반으로 한다. 확장된 W+ latent space를 형성함. 추가적인 optimization 없이 encoder가 실제 이미지들을 W+에 직접 임베딩, encoder를 image-to-image 변환 과제에 사용함. 입력 도메인에서 latent 도메인으로 encoding 하는 문제로 접근함. 기존 styleGAN encoder를 사용해 “inv..
styleGAN3 이해하기
2022. 8. 1. 18:27
인공지능/computer vision
보충 지식 Shannon-Nyquist 정리, Aliasing … https://blog.naver.com/sdj9604/222192630938 https://m.blog.naver.com/wyepark/221013968332 디렉 델타 함수(Dirac Delta Function) - “신호 처리 분야에서는 임펄스 함수라고 부르기도 한다” https://ghebook.blogspot.com/2011/10/dirac-delta-function.html Shannon-Nyquist 정리 모든 신호는 그 신호에 포함된 가장 높은 진동수의 2배에 해당하는 빈도로 일정한 간격으로 샘플링하면 원래 신호를 완벽하게 기록할 수 있다. (ex. 1초에 10번 진동하는 신호는 0~1초 가로축을 20조각으로) (출처 htt..
styleGAN2 이해하기
2022. 5. 31. 17:20
인공지능/computer vision
초록 styleGAN의 특징적인 산물을 살펴보고 모델 아키텍처와 학습 방식을 수정한다. generator normalization을 재설계하고 점진적 학습 을 검토한다. latent 코드에서 이미지로 매핑할 때 good conditioning을 이루도록 generator를 regularize 한다. 이미지의 퀄리티를 개선할 뿐만 아니라 path length regularizer를 통해 generator를 더 쉽게 invert할 수 있게 만든다. 이를 통해 생성된 이미지와 특정 네트워크를 연결할 수 있다. 나아가 generator가 출력 해상도를 얼마나 활용하는지 시각화하고, capacity 문제를 밝힌다. Removing normalization artifacts 물방울(droplet) 현상 : 최종 이..
StyleGAN1 vs. StyleGAN2
2022. 5. 31. 16:50
인공지능/computer vision
styleGAN ver1 vs. styleGAN ver2 styleGAN : mapping network, AdaIN, Noise styleGAN2 : AdaIN 연산 수정, progressive 대신에 G output skips, D residual nets styleGAN 의 mapping network는 networks_stylegan.py의 G_style 함수로, synthesis network는 G_synthesis 함수로 정의된다 (보다 정확히 말하자면, Style-based generator는 G_mapping과 G_synthesis라는 두 서브 네트워크로 이루어진다.) G_synthesis에서 이미지를 합성하는 부분(해상도 2x 하며 images_out 업데이트)은 PGGAN과 거의 동일하..
styleGAN 이해하기
2022. 5. 31. 16:45
인공지능/computer vision
A Style-Based Generator Architecture for Generative Adversarial Networks(2018) 초록 style transfer 개념을 빌려 새로운 GAN 생성기 아키텍처를 제안. 새로운 학습기는 고차원적인 특징(자세, 인종identity)과 생성 이미지의 확률적 다양성(stochastic variation, 주근깨나 헤어스타일)을 개별적으로 비지도 자동학습하며, 합성에 있어서 직관적이고 scale-specific한 통제를 가능케 한다. 새로운 생성기는 기존 분포특성 평가방식(traditional distribution quality metrics)에 있어서 최신 기술을 개선하고 더 나은 보간식(interpolation properties)을 제시한다. 또한 ..
PGGAN의 공식 코드 살펴보기
2022. 5. 31. 16:39
인공지능/computer vision
pytorch colab Google Colaboratory tensorflow github GitHub - tkarras/progressive_growing_of_gans: Progressive Growing of GANs for Improved Quality, Stability, and Variation networks.py 소스코드 smooth fade in # 선형보간 (linear interpolation) def lerp(a, b, t): return a + (b - a) * t def lerp_clip(a, b, t): return a + (b - a) * tf.clip_by_value(t, 0.0, 1.0) # [0, 1]의 텐서값 이전 레이어의 값을 특정 비율만큼 반영해 부드럽게 고해상도..
PGGAN 이해하기
2022. 5. 31. 16:31
인공지능/computer vision
Progressive Growing of GANs for Improved Quality Stability and Variation(2017) - PGGAN 초록 새로운 GAN 학습 방법론. 핵심은 생성기와 식별기를 점진적으로 학습시키는 것이다. 낮은 해상도에서 시작해 새로운 레이어를 추가함으로써 학습 과정에서 점진적으로 디테일을 모델링한다. 학습의 속도가 빨라지고 상당한 안정성도 확보가 된다. 이로써 이전에는 불가능했던 퀄리티의 이미지를 생성할 수 있게 됐다. 또한 생성된 이미지들의 variation을 증가시킬 수 있는 단순한 방법도 제안한다. 비지도 CIFAR10에서 8.8점을 달성했다. 나아가 생성기와 식별기의 불건전한 경쟁(unhealthy competition)을 감소시키는 디테일을 적용하는 법도..