GAN 실험(3) - styleGAN2 + pixel2style2pixel
2022. 8. 10. 16:43
인공지능/computer vision
개요 기존 Zookiz 데이터에서 얼굴만 수기로 크롭하여 정제. FFHQ 256*256 pretrained styleGAN2 model을 fine tuning 한다. 학습한 styleGAN2 모델의 generator를 활용하여 pixel2style2pixel encoder를 from scratch로 학습한다. 스케치 그림을 Zookiz 캐릭터로 복원하는 task이다. 1차 pixel2style2pixel data preprocessing cv2를 활용해 기존 데이터를 스케치 버전으로 변환 (sketch - target) test 데이터 설정 (test - target) 원본 데이터가 아닌 styleGAN2가 생성한 데이터를 활용했어야 했음 for f in os.listdir('/content/drive/..
GAN 실험(2) - layer swapping
2022. 8. 10. 16:40
인공지능/computer vision
모델이 Kiki, Alex를 제외하고 거의 학습하지 못하는 것 같다. BongBong 은 몸집이랑 색깔까지는 잡는데, 이목구비를 어려워한다. Kiki, Alex는 머리가 크고 눈이 큼직큼직하게 표현되어서 특징으로 잘 포착하는 듯. 반면에 나머지 캐릭터들은 눈코입이 너무 작고 몰려있거나 머리 자체가 작다. 얼굴을 크롭하지 않은 게 큰 걸림돌이다. 데이터셋이 작아지더라도 얼굴만 크롭한 데이터를 줘야 하지 않나 - cartoon face detection 에 대한 논문이 존재할 정도로 (Bringing Cartoons to Life: Towards Improved Cartoon Face Detection and Recognition Systems) 자동화가 까다로운 과정. (침착한 생성기에서도 수기로 얼굴을 ..
GAN 실험(1) - 주키즈 캐릭터
2022. 8. 10. 16:21
인공지능/computer vision
개요 Zookiz 캐릭터 이미지를 이용해 styleGAN 모델을 학습시켰다. 선, 색감, 표정 등 Zookiz 캐릭터의 표현방식을 모델이 (얼마나) 잘 학습할 수 있는지 살펴봤다. 구글 Colab GPU를 사용하여 효율적인 학습은 어려웠다. 전처리 # resize images def resize_image(src_img, size=(64,64), bg_color="white"): src_img.thumbnail(size, PIL.Image.ANTIALIAS) new_image = PIL.Image.new("RGB", size, bg_color) new_image.paste(src_img, (int((size[0] - src_img.size[0]) / 2), int((size[1] - src_img.siz..
ASAM (pending)
2022. 8. 10. 16:10
인공지능/머신러닝-딥러닝
rosinality StyleGAN2-pytorch 기반 few-shot GAN ada 에 SAM optimizer 를 적용해보는 실험 train_sam.py 파일 복제 sam.py 생성 (https://github.com/davda54/sam ) train_sam.py에서 optimizer 관련 수정 + self.param_groups(파라미터 그룹)에서 key로 값을 가져오지 못하는 문제 발생하여 찍어봤더니 dict이 아니라 한 개 요소가 든 list. __init__ 함수에 추가해줌: self.param_groups = self.param_groups[0] 그러나 … 사전학습 시에 사용된 optimizer 랑 SAM optimizer의 파라미터 형식(?)이 일치하지 않아 문제 발생 + 적대 모델에 ..
tensorflow - 함수들
2022. 8. 10. 16:07
인공지능/머신러닝-딥러닝
*2.0에서 달라지는 부분이 매우 많으므로 다시 한 번 훑어보면서 쓰는 건지 안 쓰는 건지 확인해야 함!! tf.floor(x) x의 요소별로 그 요소보다 크지 않은 정수 반환 @tf.function 함수를 호출가능한 tensorflow graph 객체로 컴파일하는 데코레이터 tf.GradientTape tf.name_scope 편의함수 정의할 때 사용하는 것을 봤다. 텐서, 변수, 플레이스홀터 등 이러한 변수를 관리하기 위한 간단한 범위 지정 메커니즘을 제공 텐서보드에서 시각화할 때 유용, 자동으로 그래프 원소들이 그룹화됨 tf.device with tf.device('/gpu:0'): ... with문으로 작성하여 수동으로 디바이스 배치하기 → 해당 컨텍스트 내 모든 작업이 동일한 장치로 할당된다. ..
Tensorflow
2022. 8. 10. 16:03
인공지능/머신러닝-딥러닝
what is tensor? 어떻게 바라보아도 그 본질이 변하지 않는 것 (어떤 좌표계로 보더라도 변하지 않는 것) https://www.tensorflow.org/guide/tensor?hl=ko “텐서는 일관된 유형(dtype이라고 불림)을 가진 다차원 배열입니다.” Rank : tensor의 차원 단위 Tensorflow 구글에서 개발한 파이썬 기반 머신러닝 프레임워크 텐서(tensor)를 기본 자료구조로 하여 그것의 흐름으로써 수치연산해주는 라이브러리 → 데이터 플로우 그래프 데이터 플로우 그래프(Data Flow Graph) 노드 : 덧셈, 곱셈 등 텐서를 처리하는 연산 엣지 : 방향에 따른 텐서의 흐름(화살표) a = tf.constant(5, name='a') b = tf.constant(3..
신호처리 기초
2022. 8. 10. 15:59
인공지능
주기(cycle, period) : 전자기파가 일정 시간마다 크기와 방향을 반복해서 바꾸며 반복되는 간격 주파수(frequency) : 1초당 한 주기가 반복되는 횟수 (1초에 몇 번? 얼마나 자주?) - 주기의 역수 진폭 = amplitude 1Hz = 1/s 패턴(주기)이 1초에 한 번 반복. 100Hz면 1초에 백 번 반복! 고주파수 & 저주파수 이미지에서의 주파수 대표적인 신호 함수 y(t) = sin(2πft). f = frequency, t = time. f 가 높아질수록 (t=1)초에 자주 반복된다. 이처럼 신호를 temporal 하게 보았다면, spacial 하게도 볼 수 있다. 공간 신호로 보자면 y(x) = sin(2πfx). f = frequency, x = spacial variab..
ROMP 이해하기
2022. 8. 10. 15:54
인공지능/pose estimation
[논문] Monocular, One-stage, Regression of Multiple 3D People [초록] regression of multiple 3D people from a single RGB image (기존) multi-stage pipeline detection in bounding boxes independent regression of 3D body meshes (제안) ROMP : one-stage fashion for Multiple 3D people bounding box-free per-pixel representation in an end-to-end manner Body Center heatmap + Mesh Parameter map → 3D body mesh on th..