[3.1.] Introduction to ML Strategy

Why ML Stratgy?

정확도 90퍼센트의 고양이 모델을 가지고 있다고 치자

 

정확도를 더 높이는 방법?

- 데이터 모으기

- 더 다양한 학습셋 모으기 (다양한 포즈의 고양이 이미지 ...)

- gradient descent로 더 오래 학습하기

- gradient descent 대신에 Adam 사용하기

- 더 큰 네트워크 짜기

- 더 작은 네트워크 짜기

- dropout 사용하기

- $L_{2}$ regularization 추가하기

- 네트워크 아키텍처

     - 활성화 함수

     - hideen unit 개수 

     - ...

 

quick and effective way to which of all these ideas and maybe even other ideas are worth pursuing and which ones yo ucan safely discard

 

 

Orthogonalization

튜닝 가능한 하이퍼파라미터가 너무 많음 - 어떠한 효과를 일으키기 위해 어떤 하이퍼파라미터를 튜닝할지 잘 아는 것 

"Orthogonalization"

 

어떤 이미지를 다양하게 튜닝할 수 있는 버튼이 있다고 해보자

한번에 이미지를 정중앙에 성공적으로 위치시키는 것은 불가능

 

orthogonalization

각 버튼이 하나의 것을 하도록 디자인

 

또 다른 예

 

자동차의 동작 (좌우, 속도)

조이스틱으로 동작하는 자동차를 만든다고 해보자

 

한 축으로는 0.3 * angle - 0.8 speed, 다른 축으로는 2 * angle + 0.9 * speed 로 조절되는 조이스틱

한 축으로 anlge, 다른 축으로 speed 형식이 아니고 두 동작을 동시에 고려해야 하므로 조작이 훨씬 어려울 것임

 

orthogonal (직교) 하는 control를 가짐으로써 튜닝이 훨씬 간편해짐

orthogonal

 

[Chain of assumptions in ML]

지도 학습에 있어서 잘 되어야 하는 것

 

(1) Fit training set well on cost function ($\approx$ human level performance)

(2) Fit dev set well on cost function 

(3) Fit test set well on cost function 

(4) Performs well in real world

 

TV 예시로 다시 생각해보자면, 이미지의 다른 요소에 영향을 미치지 않고 오로지 이미지의 가로폭만 조작할 수 있는 버튼이 필요함

비슷하게 만약 모델이 training set에 잘 학습되고 있지 않다면(1), training set에 잘 학습될 수 있도록 모델을 튜닝하는 버튼(a set of knobs)이 필요한 것임

--> 더 큰 네트워크나 더 나은 최적화 알고리즘 필요

 

이번에는 이미지의 세로 폭을 조작해보는 버튼을. 이때 이미지의 가로폭은 영향을 받지 말아야 함.

반면 training set에 잘 학습되고 있지만 dev set에 잘 학습되고 있지 않다면(2), you want to have a distinct set of knobs to try

--> Regularization, bigger training set

 

만약 모델이 test set에 잘 학습되고 있지 않다면(3),

--> bigger dev set(dev set에 over tuning되었을 수도 있으므로)

 

마지막으로 실세계에 잘 적용되지 않는다면(4),

--> dev set이나 cost function을 교체

 

앤드류 응 선생은 early stopping을 사용하지 않는 편이라고 함

덜 orthogonalized된 버튼이라고 생각하기 때문 (training performance와 dev performance 모두에 영향)