쵸코쿠키의 연습장

머신러닝 공부가 막히는 이유는 대개 머리가 나빠서가 아닙니다. 몇 달 동안 강의와 수학만 붙잡고도 직접 만든 모델, 정리한 데이터, 배포해 본 결과물이 하나도 없을 때 가장 쉽게 지칩니다. 이 글은 처음 시작할 때 무엇을 먼저 배우고, 무엇은 과감히 나중으로 미뤄도 되는지 정리한 실전형 공부 순서입니다.핵심은 단순합니다. 머신러닝은 “다 배운 뒤 시작하는 분야”가 아니라 “작게 만들면서 필요한 이론을 되돌아가는 분야”입니다. 취업이나 포트폴리오까지 생각한다면 노트북에서 모델을 학습시키는 것만으로는 부족합니다. 데이터를 정리하고, 성능을 평가하고, 간단하게라도 API로 꺼내 보는 흐름까지 경험해야 합니다.전체 순서는 아래처럼 잡으면 됩니다. 이 표는 강의 목록이 아니라 “다음 단계로 넘어가도 되는 기준”으..

2026년을 향한 Machine Learning Engineer 로드맵 — 현업 감각으로 풀어낸 이야기새벽 두 시쯤이었어요. 노트북 팬 소리가 유난히 크게 들리고, 식어버린 커피 냄새가 방 안에 맴돌던 그 순간. 처음으로 training loop가 제대로 돌지 않던 날이었죠. 그때 문득 이런 생각이 들었습니다.“아… 이게 내가 생각하던 머신러닝이 맞나?”아마 이 글을 읽고 있는 당신도 비슷한 질문을 마음속에 품고 있을지 모릅니다. 그래서 오늘은, 포장된 말 말고 현실적인 이야기를 해보려고 합니다. Machine Learning Engineer는 단순히 model을 만드는 사람이 아닙니다.ML을 ‘돌아가게’ 만드는 Software Engineer에 가깝죠. 그리고 2026년을 기준으로 보면, 이 차이는 더..

요즘 AI 배우는 거, 진짜 다르다2025년 현재, AI는 말 그대로 하루가 다르게 변하고 있어요. 그래서 예전처럼 책만 파고든다고 되는 게 아니에요. 만약 지금 제 경험과 지식을 그대로 가진 채 처음부터 다시 배운다면? 훨씬 더 감성적이고, 창의적이고, 현실적으로 접근할 것 같아요.이 글은 그냥 딱딱한 가이드가 아니에요. 함께 부딪히고, 고민하고, 진짜 '내 것'으로 만드는 여정을 같이 걸어보자는 이야기입니다. "AI, 나도 한번 해볼까?" 하고 생각한 적 있다면, 부담 갖지 말고 편하게 따라와요.AI 변화 속도에 맞춘 새로운 학습 접근이 필요함감성적이고 창의적인 방식으로 AI를 배우는 여정 제안편하게 따라오며 직접 경험하는 학습 방식 강조 Step 0: 엔지니어처럼 생각하는 법부터 배우자제일 먼저..

머신러닝 성능 향상의 핵심, 하이퍼파라미터 튜닝: 트리 구조 파즈 추정기(TPE) 소개머신러닝의 세계에서 모델의 성공은 올바른 하이퍼파라미터 설정에 크게 의존합니다. 하이퍼파라미터는 학습 알고리즘의 구조와 행동을 결정하며, 모델의 일반화 능력에 직접적인 영향을 미칩니다. 이러한 하이퍼파라미터를 최적화하는 과정은 때로는 번거롭고 시간이 많이 소요됩니다. 전통적인 그리드 탐색이나 랜덤 탐색 방법은 널리 사용되지만, 컴퓨팅 자원과 시간에 대한 비효율성 때문에 더욱 스마트한 방법이 요구됩니다. 이 글에서는 하이퍼파라미터 튜닝을 위한 혁신적인 접근법인 트리 구조 파즈 추정기(TPE)를 소개하고, 이를 통해 머신러닝 모델의 성능을 극대화하는 방법을 설명합니다.하이퍼파라미터 튜닝의 중요성을 이해하고, 왜 전통적인 방..

머신러닝 모델의 성능 최적화와 고객 지원 서비스 혁신 현대 비즈니스 환경에서 기술의 발전은 기업이 고객과의 상호작용을 극적으로 변화시켰습니다. 특히, 인공지능(AI)과 머신러닝(ML) 기술의 진보는 고객 서비스 영역에서 혁신적인 변화를 이끌어내고 있습니다. 이러한 기술들은 비단 정보 검색 시스템의 질을 개선하는 데만 국한되지 않고, 대화형 AI, 추천 시스템, 감성 분석 등 다양한 방식으로 고객 지원 서비스를 최적화하는 데 활용됩니다. 그러나 이런 첨단 기술의 배후에는 방대한 계산 자원과 높은 비용이 수반되며, 이는 기업이 고성능 상황에서 모델을 적용하는 데 있어 제약으로 작용하기도 합니다. 따라서, 모델의 성능을 극대화하는 동시에 계산 복잡성과 비용을 절감하는 방법론에 대한 요구가 점점 더 증가하고 있..

이 기사에서는 의사결정 트리와 랜덤 포레스트 알고리즘 뒤에 숨겨진 아이디어를 다루며, 이 둘과 그 이점을 비교합니다. 정교한 알고리즘의 발전은 데이터가 처리되고 선택되는 방식을 완전히 바꿨습니다. 온라인 데이터가 너무 많아지면서 효율적인 해석과 의사 결정 도구가 필수적이 되었습니다. 하지만 너무 많은 옵션을 이용할 수 있기 때문에 최선의 옵션을 선택하는 것은 어려울 수 있습니다. 의사 결정 트리와 랜덤 포레스트 알고리즘 뒤에 숨겨진 아이디어는 이 블로그에서 두 가지를 비교하는 것과 함께 다뤄질 것입니다. 랜덤 포레스트 대 선택 트리의 이점에 대해서도 살펴볼 것입니다. 의사결정 트리는 트리와 같은 구조를 사용하여 목표 변수를 예측하기 위해 특징 값에 따라 데이터를 재귀적으로 분할하는 모델입니다. 알고리즘은..

양자 기계 학습과 현재의 과제, 기회, 평가 및 적시성 또는 성숙도에 대해 더 자세히 알게 될 것입니다. QML이란 양자 기계 학습은 양자 물리학과 기계 학습을 결합한 연구 분야입니다. 기계 학습 알고리즘의 효율성과 효과를 향상시키기 위해 빠르고 복잡한 계산에 대한 양자 컴퓨팅의 잠재력을 사용합니다. 이는 데이터 처리 속도를 높이고 데이터의 새로운 통찰력을 잠재적으로 밝힐 수 있습니다. QML의 과제 데이터 인코딩 체계: 양자 기계 학습 모델에 대한 입력으로 사용하기 위해 양자 상태로 변환해야 하는 많은 고전적인 데이터가 있습니다. 이 단계는 정확한 데이터 인코딩 체계가 양자 상태가 진폭, 기저 또는 회전으로 Bloch 구에서 적절하게 표현되도록 보장하기 때문에 중요합니다. QML 모델 설계: 데이터의 ..

이미지 인식, 자연어 처리 및 추천 시스템을 위한 강력한 데이터 구조를 통해 기계 학습 잠재력을 극대화합니다. 머신 러닝 알고리듬이 대규모 데이터 세트를 분석하고 조작하려면 효과적인 데이터 구조가 필수적입니다. 프로그래머와 데이터 과학자는 이러한 데이터 구조를 이해함으로써 성능을 향상시키고 프로그램을 최적화할 수 있습니다. 기계 학습에 사용되는 가장 일반적인 데이터 구조에 대해 알아봅니다. 머신러닝의 데이터 구조와 알고리즘 데이터 구조는 컴퓨터의 메모리에 데이터를 구성하고 저장하는 것을 말합니다. 기계 학습 프로세스는 공통 데이터 구조를 사용하여 각 단계에서 데이터를 효율적으로 저장하고 수정합니다. 기계 학습의 맥락에서 알고리즘은 모델을 훈련하고, 예측을 하고, 데이터를 분석하는 데 사용되는 수치 또는 ..

잔차의 의미 (Residual) 회귀 계수의 추정에 대해 이해하기 위해서는 잔차를 이해해야 한다고 합니다. 잔차는 실제 출력 변수와 예측한 출력 변수의 차를 의미합니다. 그 차이를 표현하면 위 수식으로 표현할 수 잇습니다. 잔차를 그림으로 본다면 위와 같습니다. 즉, 예측한 식과 실제 값과의 거리들이 표현되고 있는 것을 알 수 있습니다. 잔차의 제곱합 SSE는 아래와 같습니다. 그렇다면 가장 예측력이 좋은 회귀식을 가져오기 위해서는 이러한 SSE 값을 최소화하는 방식으로 추정해나가야 하는 것입니다. 따라서 SSE를 최소화하기 위해 편미분을 합니다. 이러한 방식을 최소자승법이라고도 하며 OLS라고도 합니다. OLS는 ordinary least square method라고 부릅니다. SSE가 가장 작은 지점..

회귀분석이란 입력 데이터와 출력 데이터 간의 상호 관련성을 찾으려는 시도가 많이 있었습니다. 따라서, 두 변수 간의 관계식, 관계 정도에 대한 연구가 진행되었습니다. 회귀분석은 주어진 데이터를 기반으로 입력 데이터와 출력 데이터 사이에 수학적 관계에 대한 모형을 추정하는 방법론이라 할 수 있습니다. 회귀분석을 통해 2가지를 기대할 수 있습니다. 변수들 간에 함수 관계가 성립하는지, 만약 성립한다면 입력 변수의 중요도를 파악할 수 있습니다. 또한, 함수 관계를 바탕으로 입력 변수로 출력 변수 값을 추정 또는 예측하는 데 사용가능합니다. 단순 선형 회귀의 회귀식은 위와 같이 나타낼 수 있습니다. B0는 절편, B1은 기울기를 의미합니다. 실제 값은 구하기 어려우며, 추정을 통해 얻어내는 것입니다. 이렇게 추..

MSE f가 제대로 추정되었는지 평가하기 위함입니다. 예측한 값이 실제 값과 유사한지 평가하는 척도가 필요합니다. MSE ( mean squared error) 는 모형의 적합성(오류)를 평가하는 지표입니다. MSE는 실제 종속 변수와 예측한 종속 변수간의 차이를 의미합니다. 따라서 작을수록 좋지만, 과도하게 줄이면 과적합의 오류를 범할 가능성이 있습니다. 따라서, 검증 집합의 MSE를 줄이는 방향으로 f를 추정합니다. MAPE mean absolute percentage error는 모형의 적합성을 평가하는 지표입니다. MAPE는 퍼센트 값을 가지며 0에 가깔우수록 회귀 모형의 성능이 좋다고 할 수 있습니다. 0% ~ 100% 사이의 값을 가져 이해하기 쉬울 수 있습니다. 성능 비교 해석이 또한 가능합..

k-Fold 교차 검증 (k-Fold Cross Validation) 모형의 적합성을 보다 객관적으로 평가하기 위한 방법입니다. 데이터를 k개로 나누어 줍니다. 그 중 하나를 검증 집합, 나머지를 학습 집합으로 분류합니다. 위 과정을 k 번 반복합니다. 그 다음 k 개의 성능 지표를 평균하여 모형의 적합성을 평가합니다. LOOCV ( Leave One Out Cross Validation ) 데이터의 수가 적을 떄 사용하는 교차 검증 방법입니다. 총 n 개의 모델을 만듭니다. 각 모델은 하나의 샘플만 제외합니다. 모델을 만들고 제외한 샘플로 성능 지표를 계산합니다. 이렇게 도출된 n 개의 성능 지표를 평균 내어 최종 성능 지표를 도출합니다.

데이터 분할 과적합을 방지하기 위해서는 전체 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 나누어야 합니다. 보통 비율은 5 : 3 : 2 로 정합니다. 따라서 생각보다 많은 데이터를 보유해야만 좋은 모형을 만들 수 있습니다. 학습 데이터 : train data : 모형 f 를 추정하는 데 필요합니다. 검증 데이터 : validation data : 추정한 모형 f 가 적합한지 검증합니다. 테스트 데이터 : test data : 최종적으로 선택한 모형의 성능을 평가합니다. 데이터 분할 : 전체 데이터를 학습 데이터, 검증 데이터, 테스트 데이터로 나누어집니다. 모형 학습 : 학습 데이터를 사용하여, 각 모형을 학습합니다. 모형 선택 : 검증 데이터를 사용하여, 각 모형의 성능을 비교하고 선택합니다..

모형의 적합성을 평가하는 방법 모형의 복잡도에 따른 학습 집합의 MSE(회색)와 검증 집합의 MSE(빨간색)의 변화를 위 그림을 통해 알아보았습니다. 학습 집합의 MSE는 복잡한 모형일수록 감소합니다. 학습 데이터가 아닌 또 다른 데이터 (검증 데이터)의 MSE는 일정 시점 이후로 증가합니다. 증가하는 원인은 왼쪽 그림에 초록색처럼 학습 집합에 과적합되기 때문입니다. 그렇다면, 각 색깔마다 어떠한 결과가 나왔는 지 알아보도록 하였습니다. 검은색 : 실제 f를 나타내는 모형입니다. 노란색 : 가장 낮은 복잡도를 가지므로 편파성이 높아져 가장 높은 MSE 값을 가집니다. 초록색 : 가장 높은 복잡도를 가지므로 학습 집합에 과적합되어 있습니다. 분산이 높아집니다. 따라서, 검증 데이터의 MSE가 하늘색에 비해..

분산(variance)과 편파성(Bias)의 딜레마 모형 f^(x)로 모집단의 전체 데이터를 예측하는 경우 발생하는 총 에러를 계산합니다. 이 떄 에러는 reducible error와 irreducible error로 표현됩니다. reducible 에러는 다시 분산과 편파성으로 구성됩니다. 분산은 전체 데이터 집합 중 다른 학습 데이터를 이용했을 떄, 추정한 f가 변하는 정도를 의미합니다. 복잡할 수록 분산이 높아집니다. 편파성은 학습 알고리즘에서 잘못된 예측을 할 떄, 발생하는 오차를 의미합니다. 간단할수록 편파성이 높습니다. 복잡한 모형 f^(x) 를 사용하여 편파성을 줄일 수 있습니다. 그러며 반대로 분산이 커지는 것입니다. 간단한 모형이라면 그 반대의 현상이 발생하는 것입니다. 따라서, 엔지니어들..

최적의 데이터 셋 분석용 데이터의 이상적 조건에 대해 알아보도록 하겠습니다. 입력 데이터에 상관성이 작아야 이상적입니다. 반면에 입력 데이터와 출력 데이터의 상관성이 커야 합니다. 위 두 성질을 만족하는 소수의 입력 변수 집합이 이상적이라고 할 수 있습니다. 또한 많은 양질의 데이터가 있으면 좋습니다. 양질의 데이터란 결측치와 노이즈가 없는 깨끗한 데이터를 의미합니다. 현실적으로는 입력 변수는 많고 출력 변수는 적은 데이터가 많습니다. 이러한 데이터는 모형의 성능이 떨어지는 문제가 발생할 수 있습니다. 입력 변수는 상관성이 적고, 출력 변수는 상관성이 큰 독립 변수만을 추출하고 선택해야 합니다. 그러기 위해서 변수를 선택하고 차원을 축소하는 과정이 필요합니다. 과적합 문제 과적합에 대해 알아보도록 하겠습..

표본 공분산 두 변수의 관계를 나타내는 양을 의미합니다. 두 변수가 도일한 변수인 경우에는 해당 변수의 분산을 나타냅니다. 공분산 행력은 여러 변수의 분산과 공분산을 포함하는 행렬입니다. 변수 i와 j가 같은 방향이면 양수의 값을 갖습니다. 반대로 음수의 값이면 반대 방향의 성질을 갖습니다. 0에 가깝다면, 두 변수의 방향성이 없다는 것을 의미합니다. 표본 상관 계수 표본 상관계수는 공분산을 각각의 표본 푠준편차 값으로 나눕니다. 그 다음 정규화한 것을 의미합니다. 두 변수 간의 선형 관계만 측정할 수 있습니다. 즉, 비선형 관계나 이상치가 있을 경우 올바른 값을 도출하기 어렵습니다. 원인과 결과에 대해서는 확실히 알기 어렵습니다. 위 그림처럼, 같은 상관계수이지만 어떻게 분포하는가에 따라 모양이 매우 ..

Random Forest 여러 의사 결정 나무를 생성한 후에 다수결 또는 평균에 따라 출력 변수를 예측하는 알고리즘입니다. 즉 의사 결정 나무와 bagging을 혼합한 형태라고 볼 수 있습니다. Random Forest의 특징 부트스트랩을 이용하여 학습 집하에서 다양한 샘플을 추출합니다. 입력 변수 중 일부의 입력 변수만 사용합니다. 데이터 샘플링 및 변수 선택을 통해 의사 결정 나무의 다양성을 확보합니다. Variable Importance ( 변수 중요도 ) 회귀 또는 분류 문제에서 속성 또는 변수의 중요성의 순위를 매길 수 있습니다. Decision Tree에서는 노드 t에서 속성 xi가 혼잡도를 얼마나 줄일 수 있는 지에 대해서 알 수 있습니다. Random forest는 여러 개의 나무로 구성되..

Bagging이란 앙상블의 종류로는 크게 bagging, boosting, random forest가 있습니다. 먼저 Bagging에 대해 알아보았습니다. Bagging이란 bootstrap 의 aggregating의 약자입니다. 부트스트랩을 이용해 추출한 데이터 집합들이 동일한 가중치를 갖는 모델입니다. 즉, 부투스트랩을 이용하여 샘플을 복원 추출하는 방법입니다. 부트스트랩 샘플의 크기가 전체 학습 집합의 크기와 같은 경우가 있습니다. 약 63.2%의 학습 데이터가 중복 포함됩니다. Bagging이란 출력 데이터가 범주형인 경우 bagging을 수학적으로 표현하면 아래와 같습니다. 출력 변수가 연속형인 경우에는 어떨까요? bagging을 수학적으로 표현함면 아래와 같습니다. bagging을 통해 예측하..

앙상블 개요 다수의 데이터 집합에 대해서 각각의 분류기(CLAssifier)를 학습합니다. 학습이 진행된 분류기의 예측을 결합하여 사용하는 방법을 앙상블이라고 합니다. 다수의 데이터 집하에 대래 분류를 진행합니다. 전체 데이터 집합에 비해 크기가 줄어 가각의 샘플 데이터 집합에서 과적합이 발생합니다. 그러나, 앙상블은 각각의 예측 결과를 다수결을 이용행 결합합니다. 그 과정을 통해, 과적합의 오류를 줄여주는 효과를 만들어 냅니다. 즉, 앙상블은 다양한 분류기의 예측 결과를 결합하여 단일 분류기보다 신뢰성이 높은 예측 값을 얻을 수 있습니다. 앙상블의 장점 데이터 마이닝에 있어 데이터 수집은 가장 기본적입니다. 하지만 힘든 작업 중 하나입니다. 이러한 앙상블은 데이터가 적거나 많은 경우에 대한 해결책을 제..