Sequences, Time Series, and Prediction(2) - Deep Learning
2022. 8. 22. 15:03
인공지능/tensorflow certificate
2주차 window 사이즈 만한 값들을 input x, 그 다음 값을 label y로 세팅 - 위 예시에서는 30 features dataset = tf.data.Dataset.range(10) for val in dataset: print(val.numpy()) windowing 해보기 dataset = tf.data.Dataset.range(10) dataset = dataset.window(5, shift=1) for window_dataset in dataset: for val in window_dataset: print(val.numpy(), end=" ") print() - window 사이즈, 그리고 매번 얼마나 shift할지 dataset = tf.data.Dataset.range(10) ..
Sequences, Time Series, and Prediction(1) - mathematical method
2022. 8. 22. 14:40
인공지능/tensorflow certificate
- 미래를 예측하거나, 과거를 복원하거나, 비어있는 데이터 갭을 채우거나, 이상치를 탐지하거나 - sound wave analysis "Trend, Seasonality" "Noise" "auto-corelated time series - lag (이전 step에 의존적인)" 현실 데이터 : Trend + Seasonality + Autocorrelation + Noise 아래와 같은 "non-stationary time series" 도 있음 stationary --> 시간에 따라 behaviour가 바뀌지 않는다는 의미 non-stationary --> optimal time window for training will vary 여기서 각종 time series 시뮬레이션 해볼 수 있음 위 데이터에서..
Natural Language Processing in TensorFlow(2)
2022. 8. 21. 23:29
인공지능/tensorflow certificate
3주차 model = tf.keras.Sequential([ tf.keras.layers.Embedding(tokneizer.vocab_size, 64), tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)), tf.keras.layers.Dense(64, activation='relu'), tf.keras.layers.Dense(1, activation='sigmoid') ]) - tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(64)) - 64 : 해당 레이어로부터 원하는 output size - Bidirectional : cell state가 bi-directional 하게 움직인다 - bidirectiona..
Natural Language Processing in TensorFlow(1)
2022. 8. 21. 17:07
인공지능/tensorflow certificate
1주차 각 단어(word)에 값(value)을 부여한다면? import tensorflow as tf from tensorflow import keras from tensorflow.keras.preprocessing.text import Tokenizer sentences = [ 'I love my dog', 'I love my cat' ] tokenizer = Tokenizer(num_words=100) tokenizer.fit_on_texts(sentences) word_index = tokenizer.word_index print(word_index) - Tokenizer : sentence 로부터 vector 생성해줌 - num_words : top 100 words in volume - dic..
Convolutional Neural Networks in TensorFlow
2022. 8. 19. 19:46
인공지능/tensorflow certificate
1주차 from tensorflow.keras.preprocessing.image import ImageDataGenerator train_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( train_dir, target_size=(150,150), batch_size=20, class_mode='binary') test_datagen = ImageDataGenerator(rescale=1./255) validation_generator = test_datagen.flow_from_directory( validation_dir, target_size=(150,150), batch_..
Introduction to TensorFlow for Artificial Intelligence, ML, and DL
2022. 8. 18. 14:24
인공지능/tensorflow certificate
1주차 model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])]) model.compile(optimizer='sgd', loss='mean_squared_error') - Dense : define a layer of connected neurons -> 여기는 dense 가 하나이므로, 레이어 하나에 single neuron - input_shape = [1] : one value as input - loss function을 통해 guess가 얼마나 좋았는지 안 좋았는지 optimizer가 판단 xs = np.array([-1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float) ys = np.array([..
[5.4.] Transformers
2022. 8. 14. 17:55
인공지능/DLS
Transfermer Network Intuition [Transformer Network Motivation] - 갈수록 복잡해진 모델 - 모두 sequential 모델 : input 문장을 한 단어/토큰씩 받아들임 - "as if each unit was like a bottleneck to the flow of information" - 예를 들어, 마지막 unit을 계산하기 위해서는 앞 unit들을 먼저 모두 계산해야 함 - transformer : 전체 sequence에 대한 계산을 병렬(in parallel)로 처리하게 됨 [Transfermor Network Intuition] - Attention + CNN - attention based representation과 CNN processi..
[5.3.] Speech Recognition - Audio Data
2022. 8. 13. 22:20
인공지능/DLS
Speech Recognition [Speech Recognition Problem] input $x$ : audio clip - air pressure against time output $y$ : transcript 전처리 : spectrogram 생성 (시간 x requencies x energies) [Attention model for speech recognition] [CTC cost for speech recognition] (connectionist temporal classification) - input과 output의 길이가 같은 RNN 신경망을 구성하낟 - speech recognition에서는 input time step 이 매우 커질 수 있는데, 초당 100 헤르츠짜리 음성 1..