EasyMocap with Openpose
2022. 8. 13. 20:27
인공지능/pose estimation
EasyMocap - Internet video with a mirror 테스트 Colab에서 시행한 내용 기반으로 AWS 테스트 진행 openpose 빌드를 위해 이곳의 dockerfile 활용 Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-4_z00cyj/opencv-python/ , ModuleNotFoundError: No module named 'setuptools' 등등 opencv 설치 에러 발생으로 opencv-python 지우고, 아래 추가 이곳의 도커파일 GitHub - hmurari/openpose-docker: Openpose Dockerfile working with NVIDIA GPU G..
ROMP 이해하기
2022. 8. 10. 15:54
인공지능/pose estimation
[논문] Monocular, One-stage, Regression of Multiple 3D People [초록] regression of multiple 3D people from a single RGB image (기존) multi-stage pipeline detection in bounding boxes independent regression of 3D body meshes (제안) ROMP : one-stage fashion for Multiple 3D people bounding box-free per-pixel representation in an end-to-end manner Body Center heatmap + Mesh Parameter map → 3D body mesh on th..
Impersonator++ 이해하기
2022. 8. 10. 15:45
인공지능/pose estimation
[논문] Liquid Warping GAN with Attention: A Unified Framework for Human Image Synthesis [training & synthesis for motion imitation] 크게 세 단계로 이루어짐 style transfer, novel view 태스크를 수행할 때에는 Flow Composition만 새로 계산하게 됨 few-shot 방법론으로 입력 이미지당 personalized 된 모델을 학습 (a) Body Mesh Recovery : 입력 이미지에 대한 3D mesh 생성 (b) Flow Composition : Source ↔︎ Target 간 transformation flow를 계산하여 warped image 생성 (c) Liquid..
Vanishing Points; How to Compute Camera Orientation
2022. 5. 11. 14:35
인공지능/pose estimation
camera projection matrix : 3D space의 point --> 2D image plane 변환 모두 동차좌표계로 나타냄 변환의 두 factor : camera rotation & translation, pixel transformation/camera calibration matrix K " 사진을 바라보되, 단순히 2D 이미지가 아니라 사람 앞에 카메라가 놓여 있다고 생각. 사람은 picture를 통해서 세상을 바라고 보고 있음. 2D plane의 점들에 있어서, 카메라맨과 그 점 사이에 선을 형성함. 그 ray는 3D space 에서 ray를 형성하고, 그 ray 의 집합은 physical space 의 평행선 집합에 해당하며, 무한대의 동일한 지점에 모두 수렴함. 그 무한대 점..
Camera Calibration
2022. 5. 11. 14:24
인공지능/pose estimation
Camera Calibration projection matrix - 3x4로 된 행렬 P - 여기에 world coordinates (X, Y, Z, 1) 를 곱하면 λ * (u, v, 1) 을 얻는다 - u, v : 픽셀 위치 - λ : unknown depth - central projeciton 과 픽셀을 활용하여 "range space" 구하기 --> Projection matrix P 를 먼저 알아야 함 더보기 V를 W로 변환해주는 행렬 A가 있다하자. A행렬의 Range space는 y가 W에 속할때 V에 속한 모든 x에 대해 Ax = y가 되는 공간을 말한다 즉, V공간에서 모든 x들이 W공간에서 특정 부분으로 대칭 된다는 말이다. [출처] 글로 정리하는 제어 - Null Space & R..
How to Compute Intrinsics from Vanishing Points
2022. 5. 11. 11:00
인공지능/pose estimation
Intrinsic parameters how to calculate focal length & image center horizon = line at infinity - horizon gives us the full information aboue how the ground plane is oriented with respect to the camera 정면에서 제대로 보고 있다면 horizon(주황선)이 이미지 중앙에 있었을 것 하지만 tilted 되었기 때문에 소실점 C도 이미지 밖 image plane 어딘가에 있게 됨 세 소실점 A, B, C의 관계는? horizon이 카메라의 방향(how oriented your camera is)에 달린 거라면, 소실점 C가 어디에 있는지 정확히 알 수 있어야..
3D World to First Person Transformation
2022. 5. 10. 16:14
인공지능/pose estimation
Multiple View Geometry: 3rd person view measurement - 동일한 오브젝트를 여러 다른 관점에서 보게 될 때 (step 3) : 3rd person to 1st person 3D mapping: the world to camera coordinates - 3rd person 3D 좌표계에서 측정된 3D 공간의 point들 --> 불변함. 상수임. - 바뀌는 것은? 1st person 관점에서 3D 벡터가 어떻게 보이는지 --> 3rd person 3D point 들을 1st person 으로 변환해야 함 - Rotation: 좌표계의 변화 - Translation : world center를 camera center로 변환 이러한 방식으로 최최종.. - X, Y, Z..
Pinhole Camera Model/Focal Length and Dolly Zoom Effect/Intrinsic Camera Parameter
2022. 5. 10. 10:00
인공지능/pose estimation
Pinhole Camera Model "First Person Camera World" - 눈이 세계 정중앙에 위치한다고 가정 - (0, 0) 에 위치 - 모든 것은 나에 대해 상대적으로 측정됨 - 오른쪽이 x축, 아래가 y축, 오른손 엄지 세웠을 때 정면이 z축 - z축 방향으로 focal length(f) 만큼 떨어진 위치에 canvas를 둠 - 3D 세계에서 한 지점을 2D로 가져오려면 shrinking하게 되는데, 그것이 얼마나 멀리 있는지와 관련됨 - Z로 shrink하고 (멀어질수록 z가 커지므로, 멀리 있을수록 더 shrink하게 됨), f로 magnify함 (focal length 커질수록 더 magnify됨) - image plane의 크기는 고정되어 있으므로, focal length 를..