SW/머신러닝

머신러닝 : 단순 선형 회귀 분석 : 잔차의 의미 : 추정 방법

얇은생각 2020. 1. 19. 07:30
반응형

잔차의 의미 (Residual)

회귀 계수의 추정에 대해 이해하기 위해서는 잔차를 이해해야 한다고 합니다. 잔차는 실제 출력 변수와 예측한 출력 변수의 차를 의미합니다.

 

 

 

그 차이를 표현하면 위 수식으로 표현할 수 잇습니다.

 

 

잔차를 그림으로 본다면 위와 같습니다. 즉, 예측한 식과 실제 값과의 거리들이 표현되고 있는 것을 알 수 있습니다. 잔차의 제곱합 SSE는 아래와 같습니다.

 

 

그렇다면 가장 예측력이 좋은 회귀식을 가져오기 위해서는 이러한 SSE 값을 최소화하는 방식으로 추정해나가야 하는 것입니다. 따라서 SSE를 최소화하기 위해 편미분을 합니다. 

 

이러한 방식을 최소자승법이라고도 하며 OLS라고도 합니다. OLS는 ordinary least square method라고 부릅니다. SSE가 가장 작은 지점의 회귀계수를 찾는 것이 목표이며, OLS에 의해 찾을 수 있습니다. 

반응형