OLS와 경사하강법의 차이는 무엇인가요? (1) - OLS에 대해서

OLS가 무엇인지 알고, 경사하강법이 무엇인지도 아는데 둘의 차이를 설명할 수 없었다.
아직 이해가 많이 부족하다는 뜻이다.

 

오늘은 이 질문에 대해 답하기 위해 OLS가 무엇인지, 어떻게 식을 유도하는지 살펴보기로 한다.

 

OLS(최소자승법)

 

OLS는 오차를 최소화시킴으로써 선형회귀모델을 추정하는 방법이다. 최소제곱법이라고 부르기도 한다.
단순회귀분석에서 가장 일반적으로 볼 수 있는 형태의 선형식은 아래와 같다.

$$y = \alpha + \beta x + u$$

 

이때 $u$는 오차항으로서, 자연적으로 발생하는 노이즈라고 볼 수 있다. 두 변수의 관계를 대략적으로 '근사'했을 때와 비교해서, 실제값에서 발생하는 차이를 나타낸 것이다. 그러니 $u$는 근사된 식으로 표현할 수 없는 부분이라고 볼 수 있다.

이렇게 설명하기 어려운 부분은 가능한 한 작은 것이 좋다. 즉 오차를 최소화해야 한다.

 

$$ u= y - \alpha - \beta x$$

 

근사한 식을 가지고, 데이터 샘플마다 잔차를 구할 수 있다. 

**오차는 모집단의 편차, 잔차는 표본집단의 편차라고 보면 된다

 

그런데 샘플에 따라 이 잔차는 음수일 수도 있고, 양수일 수도 있다.

따라서 오차항을 편하게 다루기 위해 오차항을 제곱하기로 한다.

(절대값을 씌우는 방법도 있으나, 이후 미분할 것을 고려하면 일차항보다는 이차항을 쓰는 것이 낫다)

 

이렇게 잔차를 모두 제곱하여 더한 것을 최소화하는 게 "최소제곱법"이다.

 

(내가 이해한 건 개념적으로 여기까지였다. 하지만 정확히 어떻게? 어떻게 제곱한 오차를 가지고 식을 근사한다는 건지는 모르고 있었던 것이다. 그 유도 과정을 다뤄보겠다)

 

미분을 통해 2차 함수의 최소점을 찾는 방법은 익숙하다.

(1) 한번 미분하여 기울기가 0인 지점을 찾는다 (최대 or 최소)

(2) 한번 더 미분하여 양수인지 확인한다 (최소)

 

 

최소화 하고자 하는 잔차제곱합의 식은 아래와 같다.

 

$$ \sum_{i=1}^{n} (y_{i} - \alpha - \beta x_{i} )^{2} $$

 

위 식을 최소화하는 $\alpha$와 $\beta$를 찾아야 하므로, 두 값에 대해서 편미분하여 0이 되는 지점을 찾는다.

 

$$\frac{\partial S}{\partial \alpha}= -2\sum_{i=1}^{n} (y_{i} - \alpha - \beta x_{i} ) = 0$$

$$\frac{\partial S}{\partial \beta}= -2\sum_{i=1}^{n} x_{i}(y_{i} - \alpha - \beta x_{i} ) = 0$$

 

왼쪽이 알파에 대한 미분, 오른쪽이 베타에 대한 미분

 

위와 같이 정리되는 식을 "정규방정식"이라고 부른다

 

유도 과정

따라서 $\beta$는 아래와 같이 정리된다

 

$$\beta = \frac{\sum_{i=1}^{n} (x_{i} - \overline{x})(y_{i} -\overline{y})}{\sum_{i=1}^{n}(x_{i} - \overline{x})^{2}}$$

 

$\alpha$의 경우 아래와 같이 ...

위에서 $\alpha$에 대해 미분했을 때 식을 가져와 정리한다

 

$$\alpha = \overline{y} - \beta \overline{x}$$

 

 

여기에 더해서 한 번 더 미분한 값이 양수인지 확인하는 과정이 필요한데, 그 내용은 여기 블로그에서 편미분 행렬을 사용하는 방법을 통해 소개하고 있다. 본 포스팅에서는 생략하겠다. (애초에 함수의 형태가 아래로 볼록한 convex function이므로 미분값이 0인 지점이 최솟값이라고 일단 간주할 수도 있다)

https://laoonlee.tistory.com/14

최소 제곱법 (Least Square Method = OLS)

 

 

이로써, 우리가 근사하고자 하는 회귀식 $y = \alpha + \beta x + u$ 에서 $u$를 최소화하는 $\alpha$와 $\beta$를 찾아내는 과정을 마쳤다.

 

다음글에서는 경사하강법에 대해 다뤄보겠다.