![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Ft8bBi%2FbtrKet37jxO%2FV7cmnp7Y3SGME5pskScu90%2Fimg.png)
Natural Language Processing in TensorFlow(1)
2022. 8. 21. 17:07
인공지능/tensorflow certificate
1주차 각 단어(word)에 값(value)을 부여한다면? import tensorflow as tf from tensorflow import keras from tensorflow.keras.preprocessing.text import Tokenizer sentences = [ 'I love my dog', 'I love my cat' ] tokenizer = Tokenizer(num_words=100) tokenizer.fit_on_texts(sentences) word_index = tokenizer.word_index print(word_index) - Tokenizer : sentence 로부터 vector 생성해줌 - num_words : top 100 words in volume - dic..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FsebHH%2FbtrJ7d9jb5w%2FVbJWNFGdkUVmkK1WI2FxP0%2Fimg.png)
Convolutional Neural Networks in TensorFlow
2022. 8. 19. 19:46
인공지능/tensorflow certificate
1주차 from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( train_dir, target_size=(150,150), batch_size=20, class_mode='binary') test_datagen = ImageDataGenerator(rescale=1./255) validation_generator = test_datagen.flow_from_directory( validation_dir, target_size=(150,150), batch_..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fcbar77%2FbtrJXjoDhY4%2FrP5yNhOrTUwl4EGYtkuVL1%2Fimg.png)
Introduction to TensorFlow for Artificial Intelligence, ML, and DL
2022. 8. 18. 14:24
인공지능/tensorflow certificate
1주차 model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])]) model.compile(optimizer='sgd', loss='mean_squared_error') - Dense : define a layer of connected neurons -> 여기는 dense 가 하나이므로, 레이어 하나에 single neuron - input_shape = [1] : one value as input - loss function을 통해 guess가 얼마나 좋았는지 안 좋았는지 optimizer가 판단 xs = np.array([-1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float) ys = np.array([..
공부 계획 (2022.09.26 업데이트)
2022. 8. 17. 20:53
진로/취업
공부는 이제 시작이다. 코세라 강의를 통해 ML/DL 기초는 다시 제대로 훑어볼 수 있었다. 지금까지도 그래왔지만, 앞으로도 공부는 스스로 해야 한다. 데이터 엔지니어로 1년 동안 일하면서 나에게 무엇이 필요한지 깨달을 수 있었다. 아래는 내가 앞으로 반 년간 빡세게(!) 준비할 내용들이다 1. 컴퓨터 - 알고리즘, 자료구조 - 모두를 위한 컴퓨터 과학(CS50) - 운영체제 - 이곳 참고하여 커리큘럼 구성 - 네트워크 - 입문용 책으로 일단 시작! - 코딩테스트 준비 - 매일 하나씩 푸는 연습 + 코딩테스트 책 - 컴퓨터 밑바닥부터 이해하기 시리즈 완강 2. 인공지능 - ML/DL 이론 - 블로그에 정리한 내용 복습 - 최신 연구 동향 - NLP? CV? - 고전 논문 읽기 - ML/DL 이론 복습과 ..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FG37Bb%2FbtrJD3eV8Nh%2FZK3WUeMZnXOVq6lvPxKtNk%2Fimg.png)
[5.4.] Transformers
2022. 8. 14. 17:55
인공지능/DLS
Transfermer Network Intuition [Transformer Network Motivation] - 갈수록 복잡해진 모델 - 모두 sequential 모델 : input 문장을 한 단어/토큰씩 받아들임 - "as if each unit was like a bottleneck to the flow of information" - 예를 들어, 마지막 unit을 계산하기 위해서는 앞 unit들을 먼저 모두 계산해야 함 - transformer : 전체 sequence에 대한 계산을 병렬(in parallel)로 처리하게 됨 [Transfermor Network Intuition] - Attention + CNN - attention based representation과 CNN processi..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FP0qAi%2FbtrJB2HhTYG%2FKvdxEVBMEENZCjalMhpU40%2Fimg.jpg)
2022 구글 머신러닝 부트캠프 7주차 이야기
2022. 8. 13. 22:24
진로/구글 머신러닝 부트캠프
시간이 어찌나 빠른지. 자가격리 끝나고 세상에 나온 지 이틀이 지났다. 어제는 마지막 출근일이었는데, 가는 길에 지하철에서 쓰러질 뻔했다. 살면서 처음이었다. 코로나 후유증이 이렇게 무섭다니. 이제 나는 어떻게 되는가? 모르겠다. 일단 텐서플로우랑 캐글부터 해두고 생각해보자. 주말 안에 강의를 다 들을 것 같다. 혹시 이 글을 읽고 계신 분이 있다면 (있을까?) 덧글 달아주십시오. 프로젝트 뭐라도 같이 해요.
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fdyk0r6%2FbtrJBJ86Kfi%2F8RFeX10kcKfQcLWRWcvFEK%2Fimg.png)
[5.3.] Speech Recognition - Audio Data
2022. 8. 13. 22:20
인공지능/DLS
Speech Recognition [Speech Recognition Problem] input $x$ : audio clip - air pressure against time output $y$ : transcript 전처리 : spectrogram 생성 (시간 x requencies x energies) [Attention model for speech recognition] [CTC cost for speech recognition] (connectionist temporal classification) - input과 output의 길이가 같은 RNN 신경망을 구성하낟 - speech recognition에서는 input time step 이 매우 커질 수 있는데, 초당 100 헤르츠짜리 음성 1..
![thumbnail](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2FbafnJ6%2FbtrJCpPHrW5%2Ffansf7ttkMK4Q8cIQeF2F1%2Fimg.png)
[5.3.] Various Sequence To Sequence Architectures(2)
2022. 8. 13. 21:07
인공지능/DLS
Attention Model Intuition [The problem of long sequences] 아주 긴 프랑스어 문장이 주어졌다고 해보자 초록 : 전체 문장을 읽고 외워서 활성화값에 store 해라 보라 : 영어 문장을 생성해라 -> 인간이라면 이렇게 하지 않을 것. 문장을 지나며 part by part으로 번역함. 아주 긴 문장을 통쨰로 외우는 것은 아주 어려우므로. 그래서 위 같이 encoder-decoder 로 생긴 모델은 문장이 짧을 때 Bleu Score가 높지만, 문장이 길어질수록 스코어가 떨어짐 *문장이 너무 짧을 때도 해석하기 어려우므로 [Attention model intuition] "When you're trying to generate this output, what par..