[5.1.] Recurrent Neural Networks(2)
2022. 8. 2. 22:37
인공지능/DLS
Backpropagation Through Time 반대 순서로 연산한다고 생각 파라미터들 ($w_{a}$, $b_{a}$, $w_{y}$, $b_{y}$) 공유한다는 점 잊지 말기 a single prediction at a single position(at a single time set) 전체 시퀀스에 대해서는? $$L(\hat{y}, y) = \sum_{t=1}^{T_{x}} L^{}(\hat{y}^{}, y^{})$$ time step마다 loss를 구할 수 있음 -> 다 더하면 최종 $L$ 이 과정을 전부 거꾸로 -> derivatives 구해서 파라미터 업데이트 - back prop하는 건 크게 다르지 않음 time step을 거꾸로 타고 흐르는 back prop이 핵심 -> "backpro..
[5.1.] Recurrent Neural Networks(1)
2022. 8. 2. 21:19
인공지능/DLS
Why Sequence Models? Speech recognition, music generation, Sentiment classification, DNA sequence analysis, Machine translation, Video activity recognition, Name entity recognition, ... $x$나 $y$가 sequence data 일 때 (길이가 다를 수 있음) Notation where are the names? (name entity recognition) $x$ : Harry Potter and Hermione Granger invented a new spell $y$ : 1 1 0 1 1 0 0 0 0 ( $x^{}$, $y^{}$('t'emporal s..
[4.4.] Neural Style Transfer
2022. 8. 2. 18:02
인공지능/DLS
What is Neural Style Transfer? Content image ($C$), Style image($S$), Generated image($G$) What are deep ConvNets learning? [Visualizing what a deep network is learning] Pick a unit in layer 1. Find the nine image patches that maximize the units activation 특정 unit의 활성화값을 극대화한 이미지(패치)가 무엇인가? - hidden unit in layer 1 will see only a relatively small portion of the neural network - if you plot what..
[4.4.] Face Recognition
2022. 8. 2. 15:57
인공지능/DLS
What is Face Recognition? [Face verification vs. Face recognition] Verification - input image, name/ID - Output whether the input image is that of the claimed person - one-to-one problem Recognition - Has a database of K persons - Get an input image - Output ID if the image is any of the K persons (or "not recognized") -> verification 정확도가 99% 면 괜찮은 정도인데, 만약 recognition 정확도가 99%라면 (그리고 K가 100명이라..
[4.3.] Detection Algorithms(3)
2022. 8. 2. 00:40
인공지능/DLS
Region Proposals 오브젝트가 뻔히 없는 구역이 있다 "R-CNN" (regions with conv nets) conv net 연산할 만한 구역만 골라서 진행 segmentation 알고리즘 수행한 뒤에 blob이 보이는 곳에만 conv 연산 수행 (이미지 전체에 conv 연산하는 것보다 나을 수도) R-CNN의 속도를 개선시키려는 노력이 있었음 Semantic Segmentation with U-Net [object detection vs. semantic segmentation] 예를 들어 도로를 object detection한다고 하면 bounding box를 표시하는 게 그다지 좋은 방법이 아닌데, segmentation 방식으로는 좀더 구체적으로 구분할 수 있게 됨 [Per-pixe..
[4.3.] Detection Algorithms(2)
2022. 8. 1. 00:52
인공지능/DLS
Bounding Box Predictions 빨간색 - ground truth (심지어 정사각형도 아님) 파란색 - predicted bounding box (이게 최선) 더 정확한 bounding box를 구하는 방법은? [YOLO algorithm - You Only Look Once] 100 x 100 이미지가 있을 때 그리드로 나눈다 (예시를 위해 3 x 3 그리드로 나누었지만 실제로는 19 x 19 등 좀더 세밀한 그리드 사용) image classification + localization 알고리즘을 각 그리드셀에 적용한다 각 그리드셀에 대하여: $$y = \begin{bmatrix}P_{c} \\b_{x} \\ b_{y} \\ b_{h} \\b_{w} \\ c_{1} \\ c_{2} \\ c..
[4.3.] Detection Algorithms(1)
2022. 7. 28. 22:43
인공지능/DLS
Object Localization 첫번째, 두번째는 보통 하나의 오브젝틀 대상으로 함. 반면 세번째는 여러개의 오브젝트. [Classification with localization] classification 모델에 bounding box를 출력하는 output unit을 추가할 수 있음 $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$ -> detect된 오브젝트의 bounding box 학습셋이 라벨 뿐만 아니라 이 네가지 숫자 $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$ 도 포함하고 있음 --> need to output $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$, (probability of) class label *사진 속에 오브젝트는 한 ..
[4.2.] Practical Advice for Using ConvNets
2022. 7. 27. 23:29
인공지능/DLS
Using Open-Source Implementation github에서 오픈소스 사용하는 법 알려줌 Transfer Learning pretrained model 활용하기 1000개 클래스 분류하는 모델이 있따고 해보자 원래 있던 softmax 레이어를 지우고 나의 분류 클래스에 맞게 softmax layer를 추가한다 그리고 앞 레이어들의 파라미터를 freeze 하고 softmax layer만 재학습한다 작은 데이터셋으로도 좋은 효과를 낼 수 있음 traininable parameters = 0 , freeze = 1 와 같이 전이학습을 위한 옵션 포함되어 있는 경우 많음 빠르게 학습할 수 있는 팁 하나: 전체 input x 로 특정 레이어를 pre-compute 하고, 그 활성화값들을 디스크에 저..