tensorflow - 함수들
2022. 8. 10. 16:07
인공지능/머신러닝-딥러닝
*2.0에서 달라지는 부분이 매우 많으므로 다시 한 번 훑어보면서 쓰는 건지 안 쓰는 건지 확인해야 함!! tf.floor(x) x의 요소별로 그 요소보다 크지 않은 정수 반환 @tf.function 함수를 호출가능한 tensorflow graph 객체로 컴파일하는 데코레이터 tf.GradientTape tf.name_scope 편의함수 정의할 때 사용하는 것을 봤다. 텐서, 변수, 플레이스홀터 등 이러한 변수를 관리하기 위한 간단한 범위 지정 메커니즘을 제공 텐서보드에서 시각화할 때 유용, 자동으로 그래프 원소들이 그룹화됨 tf.device with tf.device('/gpu:0'): ... with문으로 작성하여 수동으로 디바이스 배치하기 → 해당 컨텍스트 내 모든 작업이 동일한 장치로 할당된다. ..
Tensorflow
2022. 8. 10. 16:03
인공지능/머신러닝-딥러닝
what is tensor? 어떻게 바라보아도 그 본질이 변하지 않는 것 (어떤 좌표계로 보더라도 변하지 않는 것) https://www.tensorflow.org/guide/tensor?hl=ko “텐서는 일관된 유형(dtype이라고 불림)을 가진 다차원 배열입니다.” Rank : tensor의 차원 단위 Tensorflow 구글에서 개발한 파이썬 기반 머신러닝 프레임워크 텐서(tensor)를 기본 자료구조로 하여 그것의 흐름으로써 수치연산해주는 라이브러리 → 데이터 플로우 그래프 데이터 플로우 그래프(Data Flow Graph) 노드 : 덧셈, 곱셈 등 텐서를 처리하는 연산 엣지 : 방향에 따른 텐서의 흐름(화살표) a = tf.constant(5, name='a') b = tf.constant(3..
신호처리 기초
2022. 8. 10. 15:59
인공지능
주기(cycle, period) : 전자기파가 일정 시간마다 크기와 방향을 반복해서 바꾸며 반복되는 간격 주파수(frequency) : 1초당 한 주기가 반복되는 횟수 (1초에 몇 번? 얼마나 자주?) - 주기의 역수 진폭 = amplitude 1Hz = 1/s 패턴(주기)이 1초에 한 번 반복. 100Hz면 1초에 백 번 반복! 고주파수 & 저주파수 이미지에서의 주파수 대표적인 신호 함수 y(t) = sin(2πft). f = frequency, t = time. f 가 높아질수록 (t=1)초에 자주 반복된다. 이처럼 신호를 temporal 하게 보았다면, spacial 하게도 볼 수 있다. 공간 신호로 보자면 y(x) = sin(2πfx). f = frequency, x = spacial variab..
ROMP 이해하기
2022. 8. 10. 15:54
인공지능/pose estimation
[논문] Monocular, One-stage, Regression of Multiple 3D People [초록] regression of multiple 3D people from a single RGB image (기존) multi-stage pipeline detection in bounding boxes independent regression of 3D body meshes (제안) ROMP : one-stage fashion for Multiple 3D people bounding box-free per-pixel representation in an end-to-end manner Body Center heatmap + Mesh Parameter map → 3D body mesh on th..
Impersonator++ 이해하기
2022. 8. 10. 15:45
인공지능/pose estimation
[논문] Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [training & synthesis for motion imitation] 크게 세 단계로 이루어짐 style transfer, novel view 태스크를 수행할 때에는 Flow Composition만 새로 계산하게 됨 few-shot 방법론으로 입력 이미지당 personalized 된 모델을 학습 (a) Body Mesh Recovery : 입력 이미지에 대한 3D mesh 생성 (b) Flow Composition : Source ↔︎ Target 간 transformation flow를 계산하여 warped image 생성 (c) Liquid..
[5.2.] Learning Word Embeddings: Word2vec & GloVe
2022. 8. 9. 23:01
인공지능/DLS
Learning Word Embeddings [Neural language model] $o_{index} \cdot E = e_{index}$ 형식으로 모든 단어에 대해서 300차원 embedding vector를 구함 입력 차원이 1800 (300차원 x 6개 단어) 인 신경망 레이어에 입력, softmax 통해 "juice" 출력하는 모델 학습 혹은 'fixed historicla window' 통해서 빈 칸 앞 네 개의 단어(이 단어의 개수 또한 파라미터)만 보도록 설정할 수 있음 - 아무리 긴 문장 입력하더라도 입력 길이가 정해져 있으므로 ok 이 경우 입력 차원은 1200 (300차원 x 4개 단어) 여기까지 보았을 때 파라미터는 - $E$ : 물론 모든 단어에 대해 동일한 행렬 $E$를 적용..
[5.2.] Introduction to Word Embeddings
2022. 8. 7. 19:51
인공지능/DLS
Word Representation 지금까지는 Vocab 사용해서 (위 예시의 경우 사이즈가 10,000) one-hot vector로 단어를 표현했음 예를 들어 Orange가 vocal에서 6257번째 단어라면 $O_{6257}$로 표기 이러한 representation의 단점 - 이러한 예시에서 orange와 apple이 가까운 관계에 있다는 것을 학습하지 못함 --> 두 개의 다른 one-hot vector의 내적(inner product)은 $0$이기 떄문 one-hot representation 대신에 "featurized representation"을 사용해보자! 그 외에 size, cost, alive, verb .. 등등 다양한 feature 생각해볼 수 있음 예를 들어 300개의 feat..
[5.1.] Recurrent Neural Networks(3)
2022. 8. 6. 23:17
인공지능/DLS
Vanishing Gradients with RNNs "The cat, which already ate ... , was full" "The cats, which already ate ..., were full" -> long term dependency 를 가지는 경우 깊은 NN 모델이 vanishing gradient 문제를 겪었듯이, basic RNN 아키텍처 또한 backprop시 앞의 time step의 영향을 추적하기 어려움 -> 많은 "local influences"를 가지게 됨 - 어떤 $\hat{y}$은 주로 그 근처에 있는 $\hat{y}$들에 영향을 받게 됨. 후반에 있는 $\hat{y}$들은 초반의 $\hat{y}$의 영향을 받기 어려움. ("This is because whatev..