[5.3.] Various Sequence To Sequence Architectures(1)
2022. 8. 11. 18:10
인공지능/DLS
Basic Models [Sequence to sequence model] sequence $x$를 입력하면 sequence $y$를 출력하는 신경망을 어떻게 구성하면 될까? RNN(혹은 GRU, LSTM)으로 이루어진 encoder 파트 - input sentence를 represent 하는 벡터를 출력함 (파란색 펜) 입력된 벡터로 sequcen $y$를 출력하는 decoder 파트 이러한 아키텍처는 "image captioning"에서도 효과적 사전학습된 AlexNet 사용 - 마지막 softmax 레이어를 제외하면 input image 를 4096차원의 feature vector로 encoding한 셈이 됨 이 feautre vector를 RNN에 입력하여 한번에 한 단어씩 캡션을 생성하게 함 P..
[5.2.] Applications Using Word Embeddings
2022. 8. 11. 15:47
인공지능/DLS
Sentiment Classification sentiment classification에서 겪을 수 있는 문제: 대량의 라벨링된 training set 이 없음 - 10000~100000 단어 정도면 무난 지금부터 두 개의 알고리즘 살펴볼 것임 [Simeple sentiment classification model] - 나의 vocab상 인덱스에 따라서 one-hot vector 생성 - 엄청 큰 데이터셋으로 학습된 E 를 활용하여 embeddings 추출 - 300차원의 vector - 이 벡터들을 모두 더하거나 평균을 내서, softmax classifier에 입력한다 - 별점 1~5점으로 총 다섯개의 possible outcome을 출력한다 (문제점) - 단어 순서를 무시한다 (위 이미지의 마지막..
GAN실험 - GANspace
2022. 8. 10. 17:05
인공지능/computer vision
GAN실험 - model blending & projection
2022. 8. 10. 17:03
인공지능/computer vision
모델 선정 best model 1 official StyleGAN2+ADA+Pytorch AWS 상에서 4시간 37분 학습 (31번째 tick, 125 kimg) FID metric 41.27 best model 2 styleGAN2 revised by Justin Pinkney Colab 상에서 6시간 이상 학습 (84 kimg) FID metric 41.40 *colab에서 FID 계산에 약 한 시간 소요 best model 3 (developed from best model 2) styleGAN2 revised by Justin Pinkney AWS 상에서 19시간 학습 884 kimg, FID 33.04 (network-snapshot-004682.pkl) - 가장 많이 학습 시킨 모델 745 k..
GAN실험 - AWS 학습
2022. 8. 10. 16:57
인공지능/computer vision
[1차] Elastic IP설정 실행 중인 인스턴스와 연결되지 않은 각 탄력적 IP 주소(인스턴스가 켜져있지 않을때)에 대해 시간당 0.005 USD(일 0.12USD) 탄력적 IP 주소 - Amazon Elastic Compute Cloud ssh config 에서 host name을 Elastic IP 로 수정 (숫자 하나를 잘못 써서 접속하지 못하는 실수가 있었음) 2. AWS 접속 ssh gan_server -v git clone https://github.com/NVlabs/stylegan2-ada-pytorch.git docker build . (도커파일이 있는 위치에서 이미지 빌드. 뭔가 실행이 된 것 같지만 도커 사용은 다음을 기약하기로 … ) conda activate pytorch_la..
GAN실험 - transfer learning
2022. 8. 10. 16:53
인공지능/computer vision
TensorFlow 를 활성화하려면 Conda를 사용한 DLAMI 의 Amazon Elastic Compute Cloud (Amazon EC2) 인스턴스를 엽니다. $ source activate tensorflow_p36 GPU EC2 스팟 인스턴스에 Cuda/cuDNN와 Tensorflow/PyTorch/Jupyter Notebook 세팅하기 - Beomi's Tech blog TensorFlow - 딥 러닝 AMI styleGAN2 + ADA + pytorch (official) official ffhq256 model 에서 전이학습 테스트 해보았는데 모델에서 생성된 fake 그리드가 다음과 같은 “pinkish”한 모습 config을 살펴보니 원래 8개 레이어여야 할 mapping network가..
GAN실험 - 이미지전처리
2022. 8. 10. 16:49
인공지능/computer vision
전처리 (GIF) 프레임 추출 imageio 모듈을 사용해 프레임들을 불러왔을 때 배경과 색깔이 이상해지는 것을 확인. 이대로 투명 배경을 제거하기 위해 하얀 마스크를 적용하면 선이 흐려지는 문제가 있다. (맨 아래 트러블 슈팅 항목 참고) gif = imageio.get_reader('test.gif') for frame in gif: plt.imshow(frame) plt.show() PIL의 gif 객체로 받아왔을 때 깔끔하게 받아지는데, 이미지가 아닌 gif 객체여서 iteration으로 프레임마다 정보를 받아와야 하는 수고로움이 있다. im = Image.open('test.gif') print(im.n_frames) im.seek(2) plt.imshow(im) 얼굴 크롭 구글 머신러닝 기반 ..
GAN 실험(4) - latent encoding + layer swapping
2022. 8. 10. 16:46
인공지능/computer vision
개요 FFHQ(256*256) pretrained StyleGAN2 model을 Zookiz 캐릭터로 fine tuning한다. pretrained model과 fine tuned 모델을 다양한 resolution에서 blending한다. input 이미지를 pretrained model의 latent space에 인코딩한 후, blended model로 이미지를 생성한다. 세부사항 환경 : Google Colab Tesla K80 참고 : styleGAN2 by Justin Pinkney, Toonify yourself 데이터 : Zookiz sticker gif에서 추출한 프레임, Zookiz Facebook 콘텐츠 캡쳐 - 총 1,562장 (very dirty) 모델 : FFHQ config-e 2..