이전 글을 통해 OLS가 무엇인지, 어떻게 식을 유도하는지 알아봤다. (글보기) 이번 글에서는 경사하강법에 대해 알아보되, OLS와 개념적으로 어떻게 다른지를 중점으로 살펴보겠다. 경사하강법(Gradient Descent) Gradient Descent, 즉 경사하강법은 iterative 하게 손실 함수를 최소화 시키는 파라미터를 찾는 최적화 방식이다. 파랑색 그래프가 손실함수라고 할 때, 값이 최소화되는 지점을 찾기 위해 경사하강법을 사용한다. 함수의 기울기(경사)를 구하여 기울기의 반대 방향으로 내려가면서 최소점을 찾는다. cost function $J(w, b)$가 있을 때, $$w := w - \alpha \frac{\partial J(w)}{\partial w}$$ $J(w)$의 경사(미분값)를..

OLS가 무엇인지 알고, 경사하강법이 무엇인지도 아는데 둘의 차이를 설명할 수 없었다. 아직 이해가 많이 부족하다는 뜻이다. 오늘은 이 질문에 대해 답하기 위해 OLS가 무엇인지, 어떻게 식을 유도하는지 살펴보기로 한다. OLS(최소자승법) OLS는 오차를 최소화시킴으로써 선형회귀모델을 추정하는 방법이다. 최소제곱법이라고 부르기도 한다. 단순회귀분석에서 가장 일반적으로 볼 수 있는 형태의 선형식은 아래와 같다. $$y = \alpha + \beta x + u$$ 이때 $u$는 오차항으로서, 자연적으로 발생하는 노이즈라고 볼 수 있다. 두 변수의 관계를 대략적으로 '근사'했을 때와 비교해서, 실제값에서 발생하는 차이를 나타낸 것이다. 그러니 $u$는 근사된 식으로 표현할 수 없는 부분이라고 볼 수 있다. ..

[시험 응시 목적] - 데이터 분석 능력을 정량적으로 나타내려고 함 - 향후 ADP 시험의 응시자격을 위하여 - 시험 공부를 통해서 통계 기반을 좀더 다듬기로 함 [시험 공부 기간] 약 10일 [시험일] 2022년 10월 29일(토) [베이스] 비전공자 문과이나 AI엔지니어 준비중 - 프로젝트 통해서 주워들은 통계 지식이 전부 - 물론 인공신경망 부분은 공부할 필요없이 넘어갈 수 있었음 [시험 공부법] 1. 민트책을 사고, 정오표를 찾아 오타를 수정한다 2. 1~3일 : 이론 파트를 빠르게 훑는다 (시간 촉박할시 생략) - 공부한다는 느낌보다는 이런 게 있구나~ 하는 느낌으로 검정펜으로 줄이나 슥슥 긋는다 3. 4~5일 : 기출과 모의고사를 푼다 (중요) - 최근 기출순으로 문제를 풀었다 당연히 거의 다..

[데이터] 특성 - 존재적 특성 : 객관적 사실 - 당위적 특성 : 추론의 근거 유형 - 정성적 데이터 : 비정형, 비용 소모, 주관적 - 정량적 데이터 : 정형, 비용 적음, 객관적, 통계분석 지식경영의 핵심 이슈 - 암묵지(tacit knowledge) : 체화, 내면화 -> 공통화 - 형식지(explicit knowledge) : 형상화, 표출화 -> 연결화 DIKW 피라미드 - Data : 사실 - Information : 도출 - Knowledge : 내재화 - Wisdom : 창의 [데이터 베이스] *데이터베이스가 정의되는 흐름 특징 - 통합된 데이터 : 중복 없음 - 저장된 데이터 : 컴퓨터 저장 매체 - 공용 데이터 : 다른 목적으로 공동 이용 - 변화되는 데이터 : 삽입, 삭제, 갱신 다..

통계 공부를 위해 ADsP 시험을 접수했다. 내 5만원 안녕~ 시험은 10월 29일, 3주 남았다. 열심히 해서 합격 후기를 남겨야겠다~