![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbOK9nh%2FbtrJpN4cHFp%2FIKcpBRkKVSD8Q0qJ3IRNmk%2Fimg.png)
GAN실험 - AWS 학습
2022. 8. 10. 16:57
인공지능/computer vision
[1차] Elastic IP설정 실행 중인 인스턴스와 연결되지 않은 각 탄력적 IP 주소(인스턴스가 켜져있지 않을때)에 대해 시간당 0.005 USD(일 0.12USD) 탄력적 IP 주소 - Amazon Elastic Compute Cloud ssh config 에서 host name을 Elastic IP 로 수정 (숫자 하나를 잘못 써서 접속하지 못하는 실수가 있었음) 2. AWS 접속 ssh gan_server -v git clone https://github.com/NVlabs/stylegan2-ada-pytorch.git docker build . (도커파일이 있는 위치에서 이미지 빌드. 뭔가 실행이 된 것 같지만 도커 사용은 다음을 기약하기로 … ) conda activate pytorch_la..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FkFm2x%2FbtrJlWuzMeG%2FwDhmKbJKDxspCMYO8Y3qT0%2Fimg.png)
GAN실험 - transfer learning
2022. 8. 10. 16:53
인공지능/computer vision
TensorFlow 를 활성화하려면 Conda를 사용한 DLAMI 의 Amazon Elastic Compute Cloud (Amazon EC2) 인스턴스를 엽니다. $ source activate tensorflow_p36 GPU EC2 스팟 인스턴스에 Cuda/cuDNN와 Tensorflow/PyTorch/Jupyter Notebook 세팅하기 - Beomi's Tech blog TensorFlow - 딥 러닝 AMI styleGAN2 + ADA + pytorch (official) official ffhq256 model 에서 전이학습 테스트 해보았는데 모델에서 생성된 fake 그리드가 다음과 같은 “pinkish”한 모습 config을 살펴보니 원래 8개 레이어여야 할 mapping network가..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FcfogNI%2FbtrJndoEi9I%2FrAtpDfMgj4YFaJkbCKzvL0%2Fimg.png)
GAN실험 - 이미지전처리
2022. 8. 10. 16:49
인공지능/computer vision
전처리 (GIF) 프레임 추출 imageio 모듈을 사용해 프레임들을 불러왔을 때 배경과 색깔이 이상해지는 것을 확인. 이대로 투명 배경을 제거하기 위해 하얀 마스크를 적용하면 선이 흐려지는 문제가 있다. (맨 아래 트러블 슈팅 항목 참고) gif = imageio.get_reader('test.gif') for frame in gif: plt.imshow(frame) plt.show() PIL의 gif 객체로 받아왔을 때 깔끔하게 받아지는데, 이미지가 아닌 gif 객체여서 iteration으로 프레임마다 정보를 받아와야 하는 수고로움이 있다. im = Image.open('test.gif') print(im.n_frames) im.seek(2) plt.imshow(im) 얼굴 크롭 구글 머신러닝 기반 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fdfeqwp%2FbtrJmtywKut%2FmeJDhMSzPLFsnkuSjowBnK%2Fimg.png)
GAN 실험(4) - latent encoding + layer swapping
2022. 8. 10. 16:46
인공지능/computer vision
개요 FFHQ(256*256) pretrained StyleGAN2 model을 Zookiz 캐릭터로 fine tuning한다. pretrained model과 fine tuned 모델을 다양한 resolution에서 blending한다. input 이미지를 pretrained model의 latent space에 인코딩한 후, blended model로 이미지를 생성한다. 세부사항 환경 : Google Colab Tesla K80 참고 : styleGAN2 by Justin Pinkney, Toonify yourself 데이터 : Zookiz sticker gif에서 추출한 프레임, Zookiz Facebook 콘텐츠 캡쳐 - 총 1,562장 (very dirty) 모델 : FFHQ config-e 2..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FucP2E%2FbtrJqmLKngU%2F6V2s2BiKuFF9Je088ZUrnk%2Fimg.png)
GAN 실험(3) - styleGAN2 + pixel2style2pixel
2022. 8. 10. 16:43
인공지능/computer vision
개요 기존 Zookiz 데이터에서 얼굴만 수기로 크롭하여 정제. FFHQ 256*256 pretrained styleGAN2 model을 fine tuning 한다. 학습한 styleGAN2 모델의 generator를 활용하여 pixel2style2pixel encoder를 from scratch로 학습한다. 스케치 그림을 Zookiz 캐릭터로 복원하는 task이다. 1차 pixel2style2pixel data preprocessing cv2를 활용해 기존 데이터를 스케치 버전으로 변환 (sketch - target) test 데이터 설정 (test - target) 원본 데이터가 아닌 styleGAN2가 생성한 데이터를 활용했어야 했음 for f in os.listdir('/content/drive/..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbciBGx%2FbtrJpOaTqsV%2FVXZaWEe8VutZcWaZFihhU1%2Fimg.png)
GAN 실험(2) - layer swapping
2022. 8. 10. 16:40
인공지능/computer vision
모델이 Kiki, Alex를 제외하고 거의 학습하지 못하는 것 같다. BongBong 은 몸집이랑 색깔까지는 잡는데, 이목구비를 어려워한다. Kiki, Alex는 머리가 크고 눈이 큼직큼직하게 표현되어서 특징으로 잘 포착하는 듯. 반면에 나머지 캐릭터들은 눈코입이 너무 작고 몰려있거나 머리 자체가 작다. 얼굴을 크롭하지 않은 게 큰 걸림돌이다. 데이터셋이 작아지더라도 얼굴만 크롭한 데이터를 줘야 하지 않나 - cartoon face detection 에 대한 논문이 존재할 정도로 (Bringing Cartoons to Life: Towards Improved Cartoon Face Detection and Recognition Systems) 자동화가 까다로운 과정. (침착한 생성기에서도 수기로 얼굴을 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FdVMso5%2FbtrJpOu7GHi%2FYSVandc3JAdxLNP0pgW261%2Fimg.png)
GAN 실험(1) - 주키즈 캐릭터
2022. 8. 10. 16:21
인공지능/computer vision
개요 Zookiz 캐릭터 이미지를 이용해 styleGAN 모델을 학습시켰다. 선, 색감, 표정 등 Zookiz 캐릭터의 표현방식을 모델이 (얼마나) 잘 학습할 수 있는지 살펴봤다. 구글 Colab GPU를 사용하여 효율적인 학습은 어려웠다. 전처리 # resize images def resize_image(src_img, size=(64,64), bg_color="white"): src_img.thumbnail(size, PIL.Image.ANTIALIAS) new_image = PIL.Image.new("RGB", size, bg_color) new_image.paste(src_img, (int((size[0] - src_img.size[0]) / 2), int((size[1] - src_img.siz..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Ftj4rN%2FbtrJqr69FJJ%2FptCS2Vz4JXcJa2qTAiFPe0%2Fimg.png)
ASAM (pending)
2022. 8. 10. 16:10
인공지능/머신러닝-딥러닝
rosinality StyleGAN2-pytorch 기반 few-shot GAN ada 에 SAM optimizer 를 적용해보는 실험 train_sam.py 파일 복제 sam.py 생성 (https://github.com/davda54/sam ) train_sam.py에서 optimizer 관련 수정 + self.param_groups(파라미터 그룹)에서 key로 값을 가져오지 못하는 문제 발생하여 찍어봤더니 dict이 아니라 한 개 요소가 든 list. __init__ 함수에 추가해줌: self.param_groups = self.param_groups[0] 그러나 … 사전학습 시에 사용된 optimizer 랑 SAM optimizer의 파라미터 형식(?)이 일치하지 않아 문제 발생 + 적대 모델에 ..