[4.3.] Detection Algorithms(1)
2022. 7. 28. 22:43
인공지능/DLS
Object Localization 첫번째, 두번째는 보통 하나의 오브젝틀 대상으로 함. 반면 세번째는 여러개의 오브젝트. [Classification with localization] classification 모델에 bounding box를 출력하는 output unit을 추가할 수 있음 $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$ -> detect된 오브젝트의 bounding box 학습셋이 라벨 뿐만 아니라 이 네가지 숫자 $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$ 도 포함하고 있음 --> need to output $b_{x}$, $b_{y}$, $b_{h}$, $b_{w}$, (probability of) class label *사진 속에 오브젝트는 한 ..
[4.2.] Practical Advice for Using ConvNets
2022. 7. 27. 23:29
인공지능/DLS
Using Open-Source Implementation github에서 오픈소스 사용하는 법 알려줌 Transfer Learning pretrained model 활용하기 1000개 클래스 분류하는 모델이 있따고 해보자 원래 있던 softmax 레이어를 지우고 나의 분류 클래스에 맞게 softmax layer를 추가한다 그리고 앞 레이어들의 파라미터를 freeze 하고 softmax layer만 재학습한다 작은 데이터셋으로도 좋은 효과를 낼 수 있음 traininable parameters = 0 , freeze = 1 와 같이 전이학습을 위한 옵션 포함되어 있는 경우 많음 빠르게 학습할 수 있는 팁 하나: 전체 input x 로 특정 레이어를 pre-compute 하고, 그 활성화값들을 디스크에 저..
[4.2.] Case Studies(2)
2022. 7. 26. 23:52
인공지능/DLS
Networks in Networks and 1x1 Convolutions [1x1 Convolutions] 여기서는 그냥 2배 곱하는 효과밖에 안 됨 (input이 6x6x1 이미지) 하지만 채널수가 32개라면 어떨까? 1x1 블록은 volume(channel)을 가로질러(-> one slice) 한 위치의 픽셀값들을 확인할 수 있게 해준다 마치 32개의 입력값을 받는 신경망 노드 하나의 역할을 하는 것이다 + 1x1블록 filter가 여러개라면 여러 노드를 이루는 것 "It is basically having a fully connected neural network" "one-by-one convolution" 혹은 "network in network"라고 부름 [Using 1x1 convoluti..
[4.2.] Case Studies(1)
2022. 7. 24. 21:50
인공지능/DLS
Why look at case studies? building blocks를 어떻게 쌓아야 효과적일까? 한 task에 잘 작동하는 아키텍쳐가 다른 task에도 효과적일 수 있다 [Classic networks] - LeNet-5 - AlexNet - VGG [ResNet] - 152개 레이어 (very deep) [Inception] Classic Networks [LeNet-5] - hand written digits - 0~9 분류 - 약 60000개 파라미터 (오늘날 기준 비교적 적은 편) - $n_{H}$, $n_{W}$는 감소하고, $n_{C}$는 증가 - conv - pool - conv - pool - fc - fc - output (advanced comments) 당시에는 sigmoid/..
보충이 필요한 것들
2022. 7. 24. 18:37
진로/구글 머신러닝 부트캠프
conv 연산을 위한 zero padding: # GRADED FUNCTION: zero_pad def zero_pad(X, pad): """ Pad with zeros all images of the dataset X. The padding is applied to the height and width of an image, as illustrated in Figure 1. Argument: X -- python numpy array of shape (m, n_H, n_W, n_C) representing a batch of m images pad -- integer, amount of padding around each image on vertical and horizontal dimensions R..
[4.1.] Convolutional Neural Networks(3)
2022. 7. 24. 03:21
인공지능/DLS
Pooling Layers [Max Pooling] 해당 영역의 가장 큰 값만 가져옴 이때 pooling에 사용되는 필터 사이즈는 2, stride 크기는 2 "if the feature is detected anywhere in the filter, then keep a high number. But if this feature is not detected, then the max of all those numbers is still itself quite small" --> 솔직히 이것이 max pooling이 잘 먹히는 근본적인 이유인지는 솔직히 모르겠다(응선생) pooling에 사용되는 파라미터는 학습되지 않는다 정해진 상태 그대로 연산함 이번에는 filter 사이즈 3, stride 크기 1로 ..
[4.1.] Convolutional Neural Networks(2)
2022. 7. 24. 01:56
인공지능/DLS
Convolutions Over Volume 3D volume에 convolution 적용하기 [Convolutions on RGB images] "height x width x 채널수" 입력 이미지의 채널수와 filter의 채널 수는 일치해야 한다 출력 이미지는 4x4 사이즈가 됨 - 2D output filter들을 각 채널에 포개서 곱하고, 그 값들(27개)을 모두 더함 채널수만큼 포개진 filter를 "R채널의 vertical edge만을 찾게" 만든다면 아래와 같이 구성할 수 있음 vertical edges in any color? -> RGB 필터 전부 똑같이 채우면 됨 [Multiple filters] 여러 개의 필터를 한번에 적용해보고 싶다면? 필터의 개수만큼 생긴 output 이미지들을 ..
[4.1.] Convolutional Neural Networks(1)
2022. 7. 23. 23:40
인공지능/DLS
Computer Vision image classification/recognition Object Detection Neural Style Transfer - input이 매우 커질 수 있다는 챌린지 - 1000*1000 사이즈의 이미지라면 3개의 채널까지 해서 --> $1000 \times 1000 \times 3 = 3000000$차원 standard한 NN에 입력한다고 치면 1000차원의 레이어의 파라미터 차원은 $(1000, 3000000)$로, $3000000000$에 달함 --> overfitting을 방지할 만큼 큰 데이터와 computational 파워를 구하기 쉽지 않음 Edge Detection Example convolution operation 6x6 흑백 이미지(채널 한 개)에 ..