보충이 필요한 것들
2022. 7. 24. 18:37
진로/구글 머신러닝 부트캠프
conv 연산을 위한 zero padding: # GRADED FUNCTION: zero_pad def zero_pad(X, pad): """ Pad with zeros all images of the dataset X. The padding is applied to the height and width of an image, as illustrated in Figure 1. Argument: X -- python numpy array of shape (m, n_H, n_W, n_C) representing a batch of m images pad -- integer, amount of padding around each image on vertical and horizontal dimensions R..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FLWWS1%2FbtrH2nenK8r%2FamMUhPC18kilCZpL3tykMK%2Fimg.png)
[4.1.] Convolutional Neural Networks(3)
2022. 7. 24. 03:21
인공지능/DLS
Pooling Layers [Max Pooling] 해당 영역의 가장 큰 값만 가져옴 이때 pooling에 사용되는 필터 사이즈는 2, stride 크기는 2 "if the feature is detected anywhere in the filter, then keep a high number. But if this feature is not detected, then the max of all those numbers is still itself quite small" --> 솔직히 이것이 max pooling이 잘 먹히는 근본적인 이유인지는 솔직히 모르겠다(응선생) pooling에 사용되는 파라미터는 학습되지 않는다 정해진 상태 그대로 연산함 이번에는 filter 사이즈 3, stride 크기 1로 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fb4ZBYX%2FbtrH5eg1aHB%2FnkTSGFOkHlbfWtLkpmVIn1%2Fimg.png)
[4.1.] Convolutional Neural Networks(2)
2022. 7. 24. 01:56
인공지능/DLS
Convolutions Over Volume 3D volume에 convolution 적용하기 [Convolutions on RGB images] "height x width x 채널수" 입력 이미지의 채널수와 filter의 채널 수는 일치해야 한다 출력 이미지는 4x4 사이즈가 됨 - 2D output filter들을 각 채널에 포개서 곱하고, 그 값들(27개)을 모두 더함 채널수만큼 포개진 filter를 "R채널의 vertical edge만을 찾게" 만든다면 아래와 같이 구성할 수 있음 vertical edges in any color? -> RGB 필터 전부 똑같이 채우면 됨 [Multiple filters] 여러 개의 필터를 한번에 적용해보고 싶다면? 필터의 개수만큼 생긴 output 이미지들을 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FB39Tm%2FbtrH5eBf8xP%2FQcZc77TyFbVhdSqgDwmiVK%2Fimg.png)
[4.1.] Convolutional Neural Networks(1)
2022. 7. 23. 23:40
인공지능/DLS
Computer Vision image classification/recognition Object Detection Neural Style Transfer - input이 매우 커질 수 있다는 챌린지 - 1000*1000 사이즈의 이미지라면 3개의 채널까지 해서 --> $1000 \times 1000 \times 3 = 3000000$차원 standard한 NN에 입력한다고 치면 1000차원의 레이어의 파라미터 차원은 $(1000, 3000000)$로, $3000000000$에 달함 --> overfitting을 방지할 만큼 큰 데이터와 computational 파워를 구하기 쉽지 않음 Edge Detection Example convolution operation 6x6 흑백 이미지(채널 한 개)에 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbmV0Hk%2FbtrH1CiKaV2%2FA1Krehc4IrcwODyNOj7fa1%2Fimg.jpg)
2022 구글 머신러닝 부트캠프 4주차 이야기
2022. 7. 23. 20:57
진로/구글 머신러닝 부트캠프
정신없이 일주일이 또 지나갔다 이번주는 정신적, 신체적으로 많이 힘들었다.. 생활패턴은 무너졌고 공부 시간을 확보하기가 어려웠다 이제 슬슬 캐글을 시작해야 할 것 같은데 자신이 없다 또다시 "퇴사할까" 병이 도졌다 누구 한명 나갈 때마다 마음이 이렇게 싱숭생숭해져가지구.. 오늘부터 마음을 다잡고 제대로 몰두해보려고 한다 국비출신 비전공자 인공지능 개발자. 이 타이틀이 쪽팔리지 않을 때까지 열심히 달려야 한다.
[3.2.] End-to-end Deep Learning
2022. 7. 20. 23:35
인공지능/DLS
What is End-to-end Deep Learning? - Speech recognition example 음성파일 input $x$ 와 transcript output $y$가 있다 기존에는 여러 processing stages를 거쳐야 했다 1) $x$ 로부터 feature 추출 (MFCC) 2) Phonemes 분리 (머신러닝 알고리즘) 3) 단어 형성 4) transcript $y$ 형성 end-to-end deep learning은 $x$를 입력하면 바로 $y$가 나온다 end-to-end deep learning은 큰 데이터를 필요로 한다 - 데이터 양이 적을 때는 기존ML방식이 더 잘 됨 - face recognition 출입시 활용하는 시스템을 만든다고 해보자: 카메라 이미지 $x$가..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FchPdF3%2FbtrHPf1SmPD%2FlW9eNXadfMPN6oCxIkeUMk%2Fimg.png)
[3.2.] Learning from Multiple Tasks
2022. 7. 20. 22:22
인공지능/DLS
Transfer Learning 새로운 데이터셋으로 교체, 마지막 한두 개 레이어의 가중치를 initialize한 후 재학습 데이터양이 크면 전체 레이어를 다시 학습해도 괜찮음 "pretraining" -> "fine-tuning" 새로운 레이어를 더 붙일 수도 있음 데이터가 적을 때 사용할 수 있다 전이학습이 필요 없는 경우? 반대의 경우 [When transfer learning makes sense] transfer from A -> B - task A and B have the same input X (이미지면 이미지, 오디오면 오디오 ...) - have a lot more data for task A than task B (task B의 가치가 더 valuable) - low level fea..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FqcbAq%2FbtrHKeaPODH%2FAmuMKOKVHFRKcXKuJ3Kc31%2Fimg.png)
[3.2.] Mismatched Training and Dev/Test Set
2022. 7. 20. 00:12
인공지능/DLS
Training and Testing on Different Distributions train과 test의 분포가 다를 때. 옵션1. 두 데이터를 섞고, randomly shuffle - 장점: training/test가 동일한 분포에서 옴 - 단점: dev/test셋의 큰 비율이 여전히 webpage 샘플 --> 비추 옵션2. training set에 mobile app 데이터 일부를 주고, dev/test셋을 모두 mobile app 데이터로 꾸린다 - 장점: 원하는 target으로 설정할 수 있음 - 단점: training/test가 다른 분포에서 옴 --> 하지만 장기적으로는 나은 옵션 Bias and Variance with Mismatched Data Distributions 앞에서 살펴본 ..