What is a Neural Network?
- 집 크기에 대한 함수로 집 가격을 예측하는 함수를 학습(fit)하고자 함
- 일단은 선형회귀 분석을 할 수 있음
- 이때 집가격이 마이너스가 될 수 없다는 걸 알기 때문에 아래와 같이 선을 꺾음
- 위 함수를 아주 (가장) 간단한 신경망으로 생각할 수 있음
- 저 하나의 '뉴론'이 위 그래프의 함수를 나타냄
- 뉴론 : '집 크기'를 입력하여 선형 함수를 계산하고 예측된 가격을 출력
- 딥러닝에서 이렇게 생긴 함수는 자주 보게 될 것이다
- 더 큰 신경망은 이러한 개별 뉴론들을 가져다 쌓아서 형성된다
- 집 가격에 영향을 미치는 요소들을 자세히 살펴보며 더 큰 신경망 구성해보기
- 각 동그라미들은 ReLU나 다른 비선형 함수일 것
- x 는 네 개의 입력, y 는 예측하고자 하는 가격
- 가운데 요소들 (family size, walkability, school quality) 은 알아서 계산되는 것
- 즉
- "hidden units" : 가운데 세 개의 동그라미들
- 우리는 집 크기와 침실 개수가 family size 라는 노드를 구성하게 했지만, 이번에는 노드가 무엇이든 네 개의 feature를 받아들이게 함
- input layer, densely connected neural network
- 신경망은 x와 y를 맵핑
Supervised Learning with Neural Networks
[supervised learning]
- 입력(x) 과 출력(y)을 맵핑
- 다양한 application
- 특정 문제에 대해 x 와 y 를 선정하고 supervised learning 요소를 시스템(ex. 차)에 기입
- application 마다 다른 신경망이 적합
- 가격 예측은 standard NN, 이미지는 CNN, 오디오와 언어는 sequence data이기 때문에 RNN, Radar 및 이미지 정보를 처리하기 위해 복잡한 커스텀 신경망이 필요하게 됨
- Structured Data vs. Unstructured Data
- Structured Data: 집 크기, 방 개수, 집 가격 .. 각 feature를 칼럼으로 나타낼 수 있는 (데이터 프레임)
- Unstructured Data: 음성, 이미지, 텍스트 데이터 (매우 다루기 어려운)
- 딥러닝 덕분에 Unstructured Data를 잘 이해할 수 있게 됨
Why is Deep Learning taking off?
[딥러닝, 왜 이제 뜨는 걸까?]
- SVM, 로지스틱회귀 같은 전통적인 알고리즘은 '대량의 데이터'를 효율적으로 처리하지 못함
- 한편 가용한 데이터의 크기가 매우 커진 오늘날
- 매우 높은 성능(performance)을 위해서는 신경망과 데이터의 스케일이 커야 함
- 엄밀히 말하면 'labeled data'
- m : 학습데이터셋의 크기
[Scale drives deep learning progress]
- 딥러닝 초기에는 data와 computation의 스케일이 중요했음
- 최근 몇 년간 알고리즘적 혁신이 있었음 --> 신경망을 더 빠르게 만들기
- 시그모이드 함수를 ReLU 함수로 교체한 것과 같은 혁신 (시그모이드는 기울기가 거의 0인 부분이 존재하여(slope) 학습이 느려짐 - 그러나 activation 함수를 교체함으로써 gradient가 1로 고정되고 0 이하에서는 0)
- fast computation이 중요한 또다른 이유: 신경망을 훈련시키는 것은 매우 직관적인 과정 (빨리 훈련시킬수록 나의 아이디어를 빠르게 반영할 수 있음)
- computation point of view에서 큰 신경망을 훈련시키는 능력, 하드웨어의 중요성, 알고리즘을 발전시키려는 연구 노력 ...
--> deep learning will keep on gettin better
4. About this Course
생략
QUIZ
- 컴퓨터에서 array로 나타낼 수 있음 -> structured data의 예
- RNN은 입력과 출력이 시퀀스이며, supervised learning 에 학습될 수 있다
'인공지능 > DLS' 카테고리의 다른 글
| [1.3.] Shallow Neural Networks(1) (0) | 2022.06.26 |
|---|---|
| [1.2.] Neural Networks Basics - Python and Vectorization (0) | 2022.06.26 |
| [1.2.] Neural Networks Basics - Logistic Regression as a neural network(3) (0) | 2022.06.26 |
| [1.2.] Neural Networks Basics - Logistic Regression as a neural network(2) (0) | 2022.06.25 |
| [1.2.] Neural Networks Basics - Logistic Regression as a neural network(1) (0) | 2022.06.24 |