최소제곱법

最小自乘法, 最小二乘法 / ordinary least squares, OLS
한국어: 최소자승법, 최소이승법, 최소제곱법. 현재 최소제곱법으로 명칭이 통일되었다.

선형 모델의 파라미터를 추정하는 가장 기초적이면서 평범한(ordinary) 방법 중에 하나.

통계를 처음 배울 때 가장 먼저 접하게 되지만 단순하면서 가장 많이 쓰인다. 주의할 점은 OLS는 선형회귀모델의 추정 방법 중에 하나이지 선형회귀모델 자체는 아니라는 것.[1]

어떤 종속변수 $Y$가 어떤 독립변수 $X$와 선형 관계에 있다고 가정한다면 $i$번째 샘플의 관계는 다음과 같이 쓸 수 있다.

이는 모집단회귀선의 방정식이며, 여기에서 $\beta_1$은 상수항, $\beta_2$는 기울기, $\varepsilon_i$는 오차항이다. 이 모집단회귀선을 추정하기 위한 표본회귀선의 방정식은 다음과 같다.

여기에서 $b_1$은 상수항, $b_2$는 기울기, $e_i$는 잔차항으로, 위 모집단회귀식의 대응하는 추정량이다.

이때, 최소제곱법은 다음과 같이 이 표본회귀식의 잔차항의 제곱합을 최소화하는 방법론이다.

각 잔차를 모두 제곱한 뒤 총합을 구하는 이유는 다음과 같다. 잔차를 최소화하는 방법으로는 먼저 단순히 잔차의 총합 $e_i$의 최솟값을 구하는 방법을 고려할 수 있다. 그러나 각 자료가 회귀선보다 위와 아래에 모두 존재하여 각 잔차가 양이 될 수도 있고 음이 될 수도 있어서 이 경우 잔차를 모두 더할 경우 상쇄되므로 적절하지 않다. 이와 같이 잔차끼리 상쇄되는 일을 방지하기 위하여 모든 값을 0 이상으로 만든 뒤 총합을 구하는 것인데, 분산을 구할 때 단순히 편차의 평균을 구하지 않고 편차의 제곱의 평균을 구하는 이유[2]와 정확히 같은 것이다. 이때, 모든 값을 0 이상으로 만드는 방법으로는 잔차항을 제곱합을 구하는 방법, 잔차항의 절댓값의 합을 구하는 방법, 잔차항과 회귀선의 수직거리의 합을 구하는 방법 등이 있는데, 잔차항의 제곱합을 더한 함수는 최솟값을 가지는 미분가능한 함수라는 특성을 가지게 된다. 최소자승법은 '자승(自乘)'이라는 이름에서 알 수 있듯이 잔차항의 제곱합을 최소화하는 방법인 것이다.

이렇게 최소자승법을 사용할 때 $b_1$, $b_2$를 각각 $\beta_1$, $\beta_2$의 최소자승추정량이라고 한다.

이를 선형대수학적으로 단순화시켜 설명하자면, $Y$라는 실제 관측값 행렬[3]에 대하여, 독립변수를 모아놓은 행렬 $A$가 존재하여 $Y=A{\bf x}$를 만족하는 다항식 벡터공간의 원소 ${\bf x}$가 존재할 때[4], 다음 정규방정식 $A^{T}A{\bf x}=A^{T}Y$을 만족하는 벡터 ${\bf x}$의 해집합이 $A{\bf x}=Y$의 최소제곱해가 된다는 것과 동치가 된다. 실제로는 오차항 행렬인 $E$를 더한 $Y=A{\bf x}+E$의 해집합 ${\bf x}$는 $E$를 최소로 만드는 최소제곱해가 된다는 것이지만 둘 사이에 수학적인 의미로 큰 차이는 없다.

이때, $A, {\bf x}, Y, E$는 다음과 같이 세팅하면 되며, $E$는 계산 결과로 역산해서 구하기 때문에 지시하지 않는 이상 구할 필요는 딱히 없다.

$\displaystyle A= \begin{pmatrix} 1 & x_1 & x_1^2 & \cdots & x_1^n \\ 1 & x_2 & x_2^2 & \cdots & x_2^n \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_m & x_m^2 & \cdots & x_m^n \end{pmatrix}, {\bf x}=\begin{pmatrix} a_0 \\ a_1 \\ \vdots \\ a_n \end{pmatrix}, Y= \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{pmatrix}, E=\begin{pmatrix} \epsilon_1 \\ \epsilon_2 \\ \vdots \\ \epsilon_m \end{pmatrix}$

주의할 점은, $A^{T}A{\bf x}=A^{T}Y$니까 양변의 좌측에 $(A^TA)^{-1}$를 곱해서 소거시켜서 $(A^TA)^{-1}A^{T}A{\bf x}=(A^TA)^{-1}A^{T}Y$라고 계산하는 건 맞는데, $(A^TA)^{-1}=A^{-1}\left(A^T\right)^{-1}$이라고 생각해서 곱하여 $A^{-1}\cancel{\left(A^T\right)^{-1}}\cancel{A^{T}}Y=A^{-1}Y$라고 계산하면 안 된다. 애당초 $A$가 $n$차 방정식에 대하여 $n+1$개의 관측값이 주어진 경우가 아니라면 정사각행렬이 아니라 역행렬이 정의되지 않기 때문. 따라서 역행렬이 정의되는 최소 단위인 $A^{T}A$에 대해서 역행렬을 구해야 한다.

이때, $A^{T}A$는 다음과 같은 행렬로 계산된다.

$A^{T}A=\displaystyle \sum_{1\leq i, j\leq n+1} \left(e_{ij}\sum_{k=1}^{m}x_{k}^{i+j-2}\right)$
($e_{ij}$는 $i$행 $j$열의 성분만 1이고 나머지는 0인 행렬)

최소자승추정량의 구체적인 식을 알아보자. 잔차의 제곱합을 최소화하는 값을 구하기 위해, 먼저 위 문단에서 소개한 최소자승법의 식을 각 추정량에 대하여 편미분하여 1계 조건을 구해 보자.

이 두 식을 정규방정식(正規方程式, normal equation)이라고 한다. 첫째 식은 잔차의 총합이 0임을 의미하고, 두 식을 동시에 충족할 때 잔차항과 독립변수 사이에 직교성(直交性, perpendicularity)이 성립하며, 공분산은 0이 된다(${\rm Cov}(e_i,\,X_i)=0$). 이 때문에 직교방정식(直交方程式, orthogonal equations)이라고도 한다.

이 조건을 이용하여 $b_1$과 $b_2$의 값을 구할 수 있다.

곧, 먼저 $b_1$을 $b_2$에 관한 식으로 나타낼 수 있음을 보인 뒤, $b_2$를 구할 때 이 식을 대입하여 $b_2$에 대하여 정리하여 추정량의 값 $S_{xy}/S_{xx}$를 도출한 것이다.

보통 좋은 추정이라고 하면 통계에서는 불편성과 효율성을 만족시키는 추정량을 채택하는 것을 말한다. 특히 선형 모델의 경우 이렇게 가장 좋은 추정법을 BLUE(best linear unbiased estimator, 최량선형불편추정량)라고 한다. 가우스-마르코프 정리란, 회귀계수 $\beta_1$, $\beta_2$의 선형 불편추정량 중에서는 다음의 조건들을 만족시키는 한 최소자승추정량이 분산이 가장 작아서 그중에서도 가장 좋은 추정량이라는 정리이다. 곧, 최소자승추정량은 최소분산선형추정량(最小分散線型推定量, minimum variance linear unbiased estimator(MVLUE)) 또는 최량선형불편추정량(最良線形不偏推定量, best linear unbiased estimator(BLUE))이라는 것이다. 둘은 결국 같은 말이다. 다음 조건은 OLS로 구한 파라미터 추정치가 BLUE가 되기 위해 필요한 조건인 셈이다.

회귀모형은 다음과 같이 회귀계수에 대하여 선형이어야 한다.

이는 독립변수와 종속변수의 관계를 규정하는 것으로, 주의할 점은 꼭 독립변수 $X_i$에 대하여 선형(linear in variables)이어야 한다는 뜻이 아니라는 점이다. 대신, 회귀계수 $\beta_1$, $\beta_2$에 대하여 선형(linear in parameters)이어야 한다는 뜻이다. 예를 들어

에서 $({\rm b})$는 $({\rm a})$와 달리 독립변수에 대하여 선형일지언정 회귀계수에 대하여 비선형이다. 이 경우 두 모형 중에서 선형성을 만족시키는 것은 $({\rm a})$라는 것이다. $({\rm a})$의 경우 $X_i^2$을 또 다른 변수 $Z_i$ 등으로 치환하면 처음에 소개한 기본형이 되므로 회귀분석에는 아무런 문제가 없다. 요컨대 '회귀계수에 대하여 선형'이라는 말은 각 회귀계수에 대한 1차 편미분이 해당 회귀계수가 포함된 함수가 아닌 일정한 상수가 된다는 뜻이다.

독립변수 $X$는 비확률변수여야 한다. 독립변수의 비확률성이란, 다음과 같이 독립변수와 오차항의 공분산이 0이라는 뜻이다.

쉽게 말하면 독립변수를 미리 주어진 것으로 본다는 뜻이기도 하다. 예를 들어, 독립변수를 먼저 고정해 놓고 그에 따라서 종속변수에 관한 자료를 수집하는 경우가 이에 해당한다. 그러나 실제 연구에서는 대부분 표본을 먼저 선정한 뒤 그 표본에 대한 독립변수 자료 및 종속변수 자료를 수집하는 경우가 많다. 다시 말하면 독립변수가 실제로는 확률변수인 경우가 많은데, 이 경우 ${\rm Cov}(X_i,\,\varepsilon_i)\neq0$이 되어 최소자승추정량은 불편추정량이 되지 못한다. 사회 자료는 비확률변수라는 조건도 너무 강하기 때문에 '독립변수는 확률변수이고 오차항에 대해 독립이다.'라는 완화된 조건을 사용하기도 한다. 예를 들어 2100년 가계소득을 독립변수로 한다고 했을 때, 이 독립변수는 2100년 가계소득 자료가 조사되고 취합되어 발표되기 전까지는 알 수가 없다. 즉 확률변수인 것이다.[5] 그러나 전체적인 분석에는 사실 큰 차이가 없어서(...) 설명의 단순화를 위해 독립변수의 비확률성을 전제하여 논의하는 것도 충분히 합리적이라고 할 수 있다.

전체 표본에서 독립변수에 대한 관측치는 적어도 서로 다른 두 개 이상의 값을 가져야 한다. 이 조건은 다음과 같이 표현할 수 있다.

만약 모든 관측치의 독립변수의 값이 하나의 값 $c$로 동일하면 $X_i=c$이고 $X_i-\bar X=0$이 되기 때문이다. 이 경우 산점도가 하나의 직선과 같이 나타나므로 표본회귀선의 기울기를 결정할 수조차 없게 되므로, 식별성의 조건은 표본회귀선의 기울기를 결정하기 위한 필수 조건인 셈이다.

모든 관측치에 대하여 오차항의 평균은 0이어야 한다. 곧, $i=1,\,2,\,\cdots,\,n$에 대하여 다음이 성립해야 한다.

이 가정은 종속변수의 체계적 변동이 독립변수에 대하여 모두 포착되어 오차항은 비체계적인 부분만을 설명한다는 뜻이다. 이는 여러 관측치가 회귀선보다 위에도, 아래에도 존재하여 양인 오차항과 음인 오차항이 혼재하므로 전체적으로는 상쇄되어 0이 됨을 나타낸다.

모든 관측치에 대하여 오차항은 일정한 분산을 가져야 한다. 곧, $i=1,\,2,\,\cdots,\,n$에 대하여 다음이 성립해야 한다.

이는 각 독립변수 $X_i$에 대하여 종속변수 $Y_i$가 그 평균 $E(Y_i)$로부터 흩어진 정도가 일정하다는 뜻이다. 이 경우 오차항은 동분산(同分散, homoscedasticity)을 갖는다고 하며, 그렇지 못할 경우 이분산(異分散, heteroscedasticity)을 갖는다고 한다.

서로 다른 관측치의 오차항 사이에는 아무런 상관관계도 성립하지 않는다는 가정이다. 곧, 다음이 성립해야 한다.

이 가정은 오차항이 모종의 체계적인 패턴에 의거하여 변화하는 것이 아니라는 뜻이며, 곧 한 오차항은 다른 오차항에 아무 영향을 미치지 않음을 나타낸다. 이 가정이 성립하지 않는 경우를 자기상관(自己相關, autocorrelation)이 존재한다고 하며, 대부분의 시계열자료에서는 연속된 기간 안에서 자기상관이 발생하곤 한다.

첫째부터 넷째까지의 가정을 만족시키면 최소자승추정량은 불편추정량이 된다. 또한 이 여섯 개의 가정을 모두 만족시키는 모형을 고전적 회귀모형(古典的 回歸模型, classical regression model)이라고 하며, 이때 비로소 OLS는 BLUE가 된다.

표본회귀선의 방정식

의 최소자승추정량 $b_1$, $b_2$에 대하여 다음의 성질이 성립한다.

최소자승추정량 $b_1$, $b_2$는 종속변수 $Y_i$의 선형결합으로 나타낼 수 있는 선형추정량이다. 먼저, $b_2$가 최소자승추정량일 때

임을 위에서 알아보았다. 이 식을 조작하면

이고, 여기에서 다음과 같이 $w_i$를 각 관측치에 대한 가중치로 표기하자.

그러면 $b_2$를 다음과 같이 쓸 수 있다.

이는 $w_i$를 가중치로 하는 $Y_i$의 선형결합이다. 마찬가지로 $b_1$은 다음과 같이 쓸 수 있다.

이는 $v_i$를 가중치로 하는 $Y_i$의 선형결합이다. 따라서 최소자승추정량 $b_1$, $b_2$는 모두 선형추정량이다.

위 가우스-마르코프 조건에서 첫째부터 넷째까지의 조건이 성립하면 최소자승추정량은 불편추정량이라고 했다. 곧, 다음을 만족시킨다.

위 가우스-마르코프 조건을 모두 만족시키면 최소자승추정량은 다음의 분산과 공분산을 갖는다.

최소자승추정량은 정규 분포를 따른다는 가정을 도입하면, 최소자승추정량의 정확한 분포를 도출하여 가설검정을 잘 진행할 수 있다. 곧, 다음과 같이 오차항의 정규성을 가정하는 것이다.

그러나 실제 자료에서 이 가정이 성립하지 않더라도 중심극한정리에 의거하여 가설검정을 진행할 수 있다.

한편, 위 가우스-마르코프 조건이 충족되면, 최소자승추정량 $b_2$는 평균이 $\beta_2$이고 분산이 $\sigma^2$인 확률변수가 된다. 여기에 오차항의 정규성까지 가정하면 $b_1$ 역시 비슷한 평균과 분산을 갖는다. 곧 다음이 성립한다.

그런데 오차항의 분산 $\sigma^2$의 값은 일반적으로 정확히 알려져 있지 않기 때문에, $\sigma_{b_2}^2$의 값을 구할 수 없다. 따라서 표본으로 도출한 잔차항 $e_i$를 사용할 수밖에 없다. 곧, 표본만을 가지고 표본회귀선

를 통해 회귀계수 $b_1$, $b_2$를 추정하면 $e_i$를 구할 수 있다. 이와 같이, 정확히 알 수 없는 오차항 $\varepsilon_i$의 분산 $\sigma^2$을 추정하는 잔차항 $e_i$의 분산 $s^2$을 도출하면 다음과 같다.

여기에서 잔차의 제곱합을 표본의 개수인 $n$이 아닌 $(n-2)$로 나누는 이유는, $n$개의 표본자료에서 2개의 회귀계수 $b_1$과 $b_2$를 추정할 때 감소하는 자유도를 반영해야 하기 때문이다. 요컨대, $n$이 아닌 $(n-2)$로 나눠야

이 성립하여 $s^2$이 불편추정량이 된다.

이때, 이 $s^2$은 독립변수가 설명하지 못하는 잔차의 변동을 반영하므로, 모형의 설명력을 측정하는 척도가 되기도 한다. 그래서 $\sqrt{s^2}=s$를 계산하여 회귀식의 표준오차(standard error of regression)라는 이름으로 사용한다.

위에서 최소자승추정량의 분산을 구했듯이, 이 분산에 대한 추정량 역시 다음과 같이 도출할 수 있다.

이때, 앞서 $E(s^2)=\sigma^2$이고 독립변수의 비확률성 가정 때문에 이 두 추정량 역시 불편추정량이며, 여기에 제곱근을 취하면 다음과 같이 회귀계수의 표준오차(standard error of regression coefficient)가 된다.

$b_1$, $b_2$가 회귀선 $Y_i=b_1+b_2X_i+e_i$의 최소자승추정량일 때 다음이 성립한다.

$D(a,b) = \sum_{i=1}^{n}\left( y_i - (ax_i+b) \right)^2$
$= (0-(0a+b))^2 +(2-(4a+b))^2 +(5-(7a+b))^2 +(6-(10a+b))^2$이고
$0a+b = A , 4a+b= B , 7a+b =C , 10a+b =D$로 놓으면
$=(0-A)^2+(2-B)^2 +(5-C)^2+ (6-D)^2)$
$=(0-0A+A^2)+(4-4B+B^2) +(25-10C+C^2) +(36-12D+D^2)$
$= 0-0+A^2 +4-4B+B^2 +25-10C+C^2 + 36 -12D+D^2$
$= 0+4+25+36 -0A+A^2 -4B+B^2 -10C+C^2 -12D+D^2$
한편 $A^2 = 0^2+0ab+b^2 , B^2 = 16a^2+8ab+b^2 , C^2 =49a^2+14ab+b^2 , D^2 =100a^2+20ab+b^2$
$= 65 -0(a+b)+(0^2+0ab+b^2) -4(4a+b)+(16a^2+8ab+b^2) -10(7a+b)+(49a^2+14ab+b^2) -12(10a+b)+(100a^2+20ab+b^2)$
$= 65 +b^2 -16a-4b+16a^2+8ab+b^2 -70a-10b +49a^2+14ab+b^2 -120a-12b+100a^2+20ab+b^2$
$= 65 -206a -26b +42ab +165a^2 +4b^2$

$D_a = \dfrac{\partial D}{\partial a} = 330a+42b-206 = 0$
$D_b = \dfrac{\partial D}{\partial b} = 8b +42a -26 = 0$
$a = \dfrac{139}{219} , b=- \dfrac{6}{73}$
따라서 점들 (0,0), (4,2), (7,5), (10,6)에 대한 분산에서 이들의 편차를 최소로하는 직선식의 구현을
$y = \dfrac{139}{219}x - \dfrac{6}{73}$로 계산해 볼 수 있다. [6]

오차항에 이분산성이나 자기상관성이 있는 경우에 대해서는 OLS(통상최소제곱)가 아니라 GLS(generalized least squares, 일반화 최소제곱)를 사용할 수 있다. 오차항의 이분산 구조나 자기상관 구조를 활용 안다면 이를 상쇄할 수 있는 함수를 사용하는 최소제곱방법이다. OLS에서는 오차항의 크기 만큼 가중치가 주어지는데, GLS에서는 오차항의 이분산성이나 자기상관성을 상쇄할 수 있도록 보정된 가중치를 부여하여 최소제곱 추정을 한다고 생각하면 편하다.

그런데 선형확률모형 같은 특별한 케이스가 아닌 이상에야 오차항의 함수 구조를 안다는 조건 자체가 비현실적이다. 따라서 요즘에는 GLS를 잘 사용하지 않고 이분산성이나 자기상관성에 대해서도 강건한(robust) 표준오차 추정량을 사용하는 경우가 일반적이다. 다만 잔차의 그래프나 플롯을 그렸을 때 주어진 자료의 이분산성이나 자기상관성이 너무 강할 때에는 GLS와 robust 추정을 함께 쓰기도 한다. 애매하면 robust를 쓰자