GAN 실험(4) - latent encoding + layer swapping

개요

FFHQ(256*256) pretrained StyleGAN2 model을 Zookiz 캐릭터로 fine tuning한다. pretrained model과 fine tuned 모델을 다양한 resolution에서 blending한다. input 이미지를 pretrained model의 latent space에 인코딩한 후, blended model로 이미지를 생성한다.

 

세부사항

• 환경 : Google Colab Tesla K80
• 참고 : styleGAN2 by Justin Pinkney, Toonify yourself
• 데이터 : Zookiz sticker gif에서 추출한 프레임, Zookiz Facebook 콘텐츠 캡쳐 - 총 1,562장 (very dirty)
• 모델 : FFHQ config-e 256x256 for 3810 kimg
• 소요 시간 : 11 ticks (45 min per tick) - 66,000 img processed

 

 

 

정리

• 새로운 이미지를 encoding 할 때, fine tuning에 사용한 base model을 사용해야 한다. 제공해주는 코드에서 디폴트가 FFHQ 1024 인 관계로 이미지가 제대로 생성되지 않는 문제가 있었다.
• 학습에 사용한 Zookiz 데이터가 더러워서 성능이 그다지 좋지 않았다. 사람 얼굴의 하관이 캐릭터의 몸으로 연결되는 경향이 있다. 제대로 학습하려면 캐릭터의 얼굴을 crop해야 할 것.
• 캐릭터의 눈이 비교적 뚜렷하게 연결된다. object도 잘 인식이 되어서, 윤곽선이 그려지고 그 안에 texture가 칠해진다.

 

코드

https://drive.google.com/drive/folders/1cMR3qWLS1-YAkzHT3Cve-zNht3B8wbzq?usp=sharing 

• step01_data_processing.py : zookiz-sticker-links.txt 에서 gif 파일 다운로드, frame 추출, 사이즈 조정 등 전처리
• step02_training : styleGAN2 학습
• step03_network_blending : resolution 별 blending 후 pkl 파일 저장, 이미지 생성