OLS와 경사하강법의 차이는 무엇인가요? (2) - 경사하강법에 대해서
2022. 11. 21. 21:20
수학과 통계/통계
이전 글을 통해 OLS가 무엇인지, 어떻게 식을 유도하는지 알아봤다. (글보기) 이번 글에서는 경사하강법에 대해 알아보되, OLS와 개념적으로 어떻게 다른지를 중점으로 살펴보겠다. 경사하강법(Gradient Descent) Gradient Descent, 즉 경사하강법은 iterative 하게 손실 함수를 최소화 시키는 파라미터를 찾는 최적화 방식이다. 파랑색 그래프가 손실함수라고 할 때, 값이 최소화되는 지점을 찾기 위해 경사하강법을 사용한다. 함수의 기울기(경사)를 구하여 기울기의 반대 방향으로 내려가면서 최소점을 찾는다. cost function $J(w, b)$가 있을 때, $$w := w - \alpha \frac{\partial J(w)}{\partial w}$$ $J(w)$의 경사(미분값)를..
OLS와 경사하강법의 차이는 무엇인가요? (1) - OLS에 대해서
2022. 11. 16. 21:04
수학과 통계/통계
OLS가 무엇인지 알고, 경사하강법이 무엇인지도 아는데 둘의 차이를 설명할 수 없었다. 아직 이해가 많이 부족하다는 뜻이다. 오늘은 이 질문에 대해 답하기 위해 OLS가 무엇인지, 어떻게 식을 유도하는지 살펴보기로 한다. OLS(최소자승법) OLS는 오차를 최소화시킴으로써 선형회귀모델을 추정하는 방법이다. 최소제곱법이라고 부르기도 한다. 단순회귀분석에서 가장 일반적으로 볼 수 있는 형태의 선형식은 아래와 같다. $$y = \alpha + \beta x + u$$ 이때 $u$는 오차항으로서, 자연적으로 발생하는 노이즈라고 볼 수 있다. 두 변수의 관계를 대략적으로 '근사'했을 때와 비교해서, 실제값에서 발생하는 차이를 나타낸 것이다. 그러니 $u$는 근사된 식으로 표현할 수 없는 부분이라고 볼 수 있다. ..
앞으로의 계획
2022. 11. 15. 16:37
진로/취업
지난 두 달 간 회사에 지원하고, 코딩테스트를 보고, 면접을 치르면서 많은 것을 배웠다. 잠시 공부를 중단하는 것에 불안을 느끼기도 했지만 값진 경험이었음은 분명하다. 1. 서류 감사하게도 서류는 모두 통과했다. 프로젝트 경험이 다양하게 있는 점, 포트폴리오에 공을 많이 들인 점, 자소서를 하나하나 꼼꼼히 작성하는 점이 유리하게 작용한 것 같다. 서류조차 합격하지 못할 거란 두려움이 있었는데 이번에 그런 걱정은 많이 덜게 되었다. 내용이 outdated되지 않게 새로운 프로젝트 계속 진행하면서 업데이트하는 게 중요할 것 같다. 그리고 내가 진행한 프로젝트에 포함된 모델이나 이론 등은 꿰차고 있기! 2. 코딩테스트 코딩테스트를 마저 준비하려고 한다. 하던 대로 문제 풀고, 블로그에 업로드하기. 올해가 가기..
롯데e커머스 면접 후기
2022. 11. 13. 11:42
진로/취업
[일자] 2022년 10월 17일 [직무] MLOps 엔지니어 [지원과정 및 전형] 구글 부트캠프 전형 (전환형 인턴) - 서류 통과 후 면접 [결과] 인성검사 및 면접 탈락 롯데이커머스 면접을 다녀왔다. 기억이 더 흐려지기 전에 기록을 남기려고 한다. MLOps 직무와 데이터사이언티스트 (ML모델링) 직무 중에서 지원할 수 있었는데 나는 MLOps에 올인했다. 다가오는 ML시장에서는 모델링보다 DevOps의 중요성이 커질 거라는 믿음 때문이었다. 그리고 나는 컴퓨터가 재밌다. 컴퓨터에 대해 더 배우고 싶었다. (지원동기치곤 상당히 허술하죠 여기서 이미 당락은 결정되어 있었다) 아침 일찍 출발해 신촌 ‘마이스윗인터뷰’에서 정장을 빌렸다. 정장 처음 입어봄. 애초에 복장은 비즈니스 캐주얼로 안내 받았는데,..
데이터분석준전문가 ADsP 시험 대비법 및 고득점 합격 후기 (인강 필요 없습니다)
2022. 10. 31. 15:01
수학과 통계/통계
[시험 응시 목적] - 데이터 분석 능력을 정량적으로 나타내려고 함 - 향후 ADP 시험의 응시자격을 위하여 - 시험 공부를 통해서 통계 기반을 좀더 다듬기로 함 [시험 공부 기간] 약 10일 [시험일] 2022년 10월 29일(토) [베이스] 비전공자 문과이나 AI엔지니어 준비중 - 프로젝트 통해서 주워들은 통계 지식이 전부 - 물론 인공신경망 부분은 공부할 필요없이 넘어갈 수 있었음 [시험 공부법] 1. 민트책을 사고, 정오표를 찾아 오타를 수정한다 2. 1~3일 : 이론 파트를 빠르게 훑는다 (시간 촉박할시 생략) - 공부한다는 느낌보다는 이런 게 있구나~ 하는 느낌으로 검정펜으로 줄이나 슥슥 긋는다 3. 4~5일 : 기출과 모의고사를 푼다 (중요) - 최근 기출순으로 문제를 풀었다 당연히 거의 다..
[백준/약점체크] 2252번: 줄 세우기
2022. 10. 11. 18:43
컴퓨터/코딩테스트
[문제] [코드] 이 문제는 위상 정렬을 이용해서 풀면 된다. 위상 정렬에 대한 내용은 여기에 정리해 두었다. https://woo-niverse.tistory.com/237?category=1038170 정렬 알고리즘 : 위상 정렬 (Topological Sorting) 방향이 있는 그래프의 정점들을 방향대로 나열하는 것 위상 정렬의 예시 예시를 위해 자랑스러운 나의 전공, 국문학과의 국어학 커리큘럼을 가져와보았다. 보통 'OO론' 과목은 'OOO의이해' 수업을 woo-niverse.tistory.com 먼저, 큐를 이용한 방법 import sys from collections import deque input = sys.stdin.readline N, M = map(int, input().split(..
정렬 알고리즘 : 위상 정렬 (Topological Sorting)
2022. 10. 11. 18:00
컴퓨터/알고리즘&자료구조
방향이 있는 그래프의 정점들을 방향대로 나열하는 것 위상 정렬의 예시 예시를 위해 자랑스러운 나의 전공, 국문학과의 국어학 커리큘럼을 가져와보았다. 보통 'OO론' 과목은 'OOO의이해' 수업을 선수과목으로 하여, 순서상 '이해' 과목을 먼저 들어야 한다. 그리고 제일 마지막은 역시.. 대학원 수업인 'OOO연구'. '국어학의이해'를 듣지 않고 '국어형태론'을 먼저 수강했다간 큰 코 다칠 수가 있다. 위상정렬을 사용하면 올바른 수강 순서를 찾을 수 있다. DAG(Directed Acyclic Graph) 위상 정렬은 사이클이 존재하지 않는 유향 그래프에 적용할 수 있다. 사이클이 존재한다면 출발점을 알 수 없기 때문에 위상 정렬이 불가능. 진입차수 & 진출차수 위상 정렬을 위한 '진입차수'와 '진출차수'..
[ADsP] 1. 데이터 이해
2022. 10. 9. 00:08
수학과 통계/통계
[데이터] 특성 - 존재적 특성 : 객관적 사실 - 당위적 특성 : 추론의 근거 유형 - 정성적 데이터 : 비정형, 비용 소모, 주관적 - 정량적 데이터 : 정형, 비용 적음, 객관적, 통계분석 지식경영의 핵심 이슈 - 암묵지(tacit knowledge) : 체화, 내면화 -> 공통화 - 형식지(explicit knowledge) : 형상화, 표출화 -> 연결화 DIKW 피라미드 - Data : 사실 - Information : 도출 - Knowledge : 내재화 - Wisdom : 창의 [데이터 베이스] *데이터베이스가 정의되는 흐름 특징 - 통합된 데이터 : 중복 없음 - 저장된 데이터 : 컴퓨터 저장 매체 - 공용 데이터 : 다른 목적으로 공동 이용 - 변화되는 데이터 : 삽입, 삭제, 갱신 다..