2022 구글 머신러닝 부트캠프 6주차 이야기
2022. 8. 6. 13:47
진로/구글 머신러닝 부트캠프
흠... 지금은 토스 코테를 기다리고 있는데 정말 기대가 하나도 없다 일단 나는 SQL을 할 줄 모르니 문제는 몇 개는 날리는 셈이고 .. 거기서 이미 끝이다 허허. 정석대로 퇴사 절차를 밟고 있다. 너무 충동적이었나? 후회되면서도.. 사실 올초에 큰 고비 왔을 때 이미 퇴사했다고 치면 기분이 좀 다르다 이제 나는 어떻게 되는 것인가? 멍청한 선택을 한 건 분명하니까 더 열심히 해야 되는 것도 분명하다 아, 그리고 코로나에 걸렸다. 나는 안 걸릴 줄 알았는데 기어이 걸려버렸다. 퇴사 직전에 재택 근무라니. 하늘이 나한테 벌을 내리고 있는 기분까지 든다.
[5.1.] Recurrent Neural Networks(2)
2022. 8. 2. 22:37
인공지능/DLS
Backpropagation Through Time 반대 순서로 연산한다고 생각 파라미터들 ($w_{a}$, $b_{a}$, $w_{y}$, $b_{y}$) 공유한다는 점 잊지 말기 a single prediction at a single position(at a single time set) 전체 시퀀스에 대해서는? $$L(\hat{y}, y) = \sum_{t=1}^{T_{x}} L^{}(\hat{y}^{}, y^{})$$ time step마다 loss를 구할 수 있음 -> 다 더하면 최종 $L$ 이 과정을 전부 거꾸로 -> derivatives 구해서 파라미터 업데이트 - back prop하는 건 크게 다르지 않음 time step을 거꾸로 타고 흐르는 back prop이 핵심 -> "backpro..
[5.1.] Recurrent Neural Networks(1)
2022. 8. 2. 21:19
인공지능/DLS
Why Sequence Models? Speech recognition, music generation, Sentiment classification, DNA sequence analysis, Machine translation, Video activity recognition, Name entity recognition, ... $x$나 $y$가 sequence data 일 때 (길이가 다를 수 있음) Notation where are the names? (name entity recognition) $x$ : Harry Potter and Hermione Granger invented a new spell $y$ : 1 1 0 1 1 0 0 0 0 ( $x^{}$, $y^{}$('t'emporal s..
[4.4.] Neural Style Transfer
2022. 8. 2. 18:02
인공지능/DLS
What is Neural Style Transfer? Content image ($C$), Style image($S$), Generated image($G$) What are deep ConvNets learning? [Visualizing what a deep network is learning] Pick a unit in layer 1. Find the nine image patches that maximize the units activation 특정 unit의 활성화값을 극대화한 이미지(패치)가 무엇인가? - hidden unit in layer 1 will see only a relatively small portion of the neural network - if you plot what..
[4.4.] Face Recognition
2022. 8. 2. 15:57
인공지능/DLS
What is Face Recognition? [Face verification vs. Face recognition] Verification - input image, name/ID - Output whether the input image is that of the claimed person - one-to-one problem Recognition - Has a database of K persons - Get an input image - Output ID if the image is any of the K persons (or "not recognized") -> verification 정확도가 99% 면 괜찮은 정도인데, 만약 recognition 정확도가 99%라면 (그리고 K가 100명이라..
[4.3.] Detection Algorithms(3)
2022. 8. 2. 00:40
인공지능/DLS
Region Proposals 오브젝트가 뻔히 없는 구역이 있다 "R-CNN" (regions with conv nets) conv net 연산할 만한 구역만 골라서 진행 segmentation 알고리즘 수행한 뒤에 blob이 보이는 곳에만 conv 연산 수행 (이미지 전체에 conv 연산하는 것보다 나을 수도) R-CNN의 속도를 개선시키려는 노력이 있었음 Semantic Segmentation with U-Net [object detection vs. semantic segmentation] 예를 들어 도로를 object detection한다고 하면 bounding box를 표시하는 게 그다지 좋은 방법이 아닌데, segmentation 방식으로는 좀더 구체적으로 구분할 수 있게 됨 [Per-pixe..
2022 구글 머신러닝 부트캠프 5주차 이야기
2022. 8. 1. 20:46
진로/구글 머신러닝 부트캠프
시간이 흘러 벌써 5주차(는 이미 한참 넘었지만)를 지났다 매주가 위기다.. 이번에는 강의를 듣기 위해 연차를 냈다 슬슬 캐글과 자격증을 시작해야 할 텐데 이미 타이밍이 늦은 느낌도 있고 그리고 퇴사 의사를 밝혔다 아무런 대책없이 괜찮을까 괜찮다고 누군가 말해주었으면
few-shot GAN ada 이해하기
2022. 8. 1. 18:55
인공지능/computer vision
초록 생성 모델(GAN)을 제한된 샘플(e.g. 10)로 이루어진 타겟 도메인에 학습시키는 것은 오버피팅으로 이어지기 쉬움. 본 논문에서는 pretraining에 많은 양의 소스 도메인을 활용하고, 소스에서 타겟으로 diversity information을 transfer함. 새로운 cross-domain distance consistency loss를 통해 소스 객체들 간의 상대적인 유사점과 차이점을 보존함. 오버피팅을 더욱 줄이기 위해 anchor-based 전략을 제시, latent space의 여러 영역에 걸쳐 다양한 수준의 realism을 조성하도록 함. photorealistic, non-photorealistic 도메인에서의 결과를 통해 질적, 양적으로 증명함 - 본 논문의 few-shot ..