결정계수

決定係數 / coefficient of determination

최소제곱법을 활용한 선형회귀분석에서 종속변수의 분산 중에서 독립변수로 설명되는 비율을 의미한다. 쉽게 말해, 이 통계 모델로 대상을 얼마나 잘 설명할 수 있는가를 숫자로 나타낸 것이 결정계수이다. 세글자로 "설명력"이라고 줄여 쓴다.

사회과학이나 데이터분석에서 내가 만든 선형모형을 최소제곱추정했을 때, 해당 모형이 타겟 변수를 얼마나 잘 예측 혹은 설명하는지 평가하는 지표 중 하나로 자주 사용된다.

선형회귀분석에서 종속변수의 분산은 다음과 같이 평균과의 차이를 제곱한 것의 합(이하 Sum of Squared Total, SST)으로 추정할 수 있다.[1]

그리고 만약 모델로 추정한 값이 $\hat{y}_i$라고 한다면, 잔차(residual)의 제곱합(이하 Sum of Squared Residual, SSR)는 다음과 같다.

이들을 이용해 결정계수($R^2$)을 다음과 같이 정의한다.

$\displaystyle R^2= \frac{\text{SSR}}{\text{SST}}.$

$\displaystyle R^2= 1-\frac{\text{SSE}}{\text{SST}}.$


여기서 만약 우리가 만든 모델이 표본 평균 $\bar{y}$로 모조리 예측한 것보다 안 좋으면 결정계수는 음수로 나올 수 있다.[2]

참고로, 최소제곱법을 이용한 선형회귀분석에서 종속변수의 예측값(fitted value) $\hat{y}_i$와 실젯값(actual value) $y_i$의 피어슨 상관계수를 제곱한 값이 결정계수와 같아진다.증명

선형회귀분석이 연구되던 초창기에는 모델의 적합도를 측정하기 위한 측도(measure)로 종속변수 예측값과 실젯값의 상관계수를 사용했다. 그러던 중 비음(nonnegative) 측도를 만들기 위해 상관계수의 제곱을 사용했는데, 이 값의 특성을 연구해 보니 종속변수의 전체 변동에서 회귀모형이 설명할 수 있는 비율을 나타내는 것이라는 결과가 나왔기 때문에 이 값을 모델 설명력의 측도로 많이 사용한다. 좀 더 구체적으로 설명하면 선형회귀모형에서 예측값(fitted value)과 실젯값(actual value)의 상관계수를 구하고 이를 제곱하면 (SSR*SST)/SST² 이 나오고 분자 분모의 SST를 약분하면 흔히 보는 R²가 나온다. 증명

R²의 변종으로 조정된 R²(adjusted R²), 예측 R²(predicted R²)등이 있다.

후술되듯이 R²는 여러 검정통계량에 응용된다. 하지만 변형된 R²들은 특정한 목적에 맞게 임시변통적으로 만들어진 지표들이기 때문에 검정통계량에 사용되는 경우는 극히 드물다. R²가 포함된 검정통계량은 표본이 충분히 많은 경우를 가정하고 유도하는 경우가 많기 때문에 꼼꼼하게 따지지 않는 한 큰 차이를 느끼기는 힘들다.

종속변수에 대한 모델 설명력을 나타내는 측도로 사용된다. 조정된 R², AIC(Akaike information criterion), BIC(Bayes information criterion) 등과 함께 모델선택에서의 대표적인 기준 측도이다.

라그랑지 승수 검정(LM test)의 검정통계량이 대부분 관측치 수(표본의 수)*결정계수, 즉 nR²다. 대표적인 검정으로 이분산 검정에서의 Breusch–Pagan test, 자기상관에서의 Breusch–Godfrey test가 있다. R² 자체가 이론통계학적으로 좋은 성질을 많이 갖고 있기 때문에 이 외에도 각종 test에서 많이 사용된다.

통계를 처음 배울 때, 높은 결정계수가 좋다고 배운다. 하지만, 일반적으로 알려진 사실과는 달리 R²가 크다고 무조건 좋은 것도 아니고 작다고 나쁜 것도 아니다. 예를 들어, R²가 아무리 높아도 시계열모형에서의 허구적 회귀와 같은 경우라면 아무 의미가 없다. 그렇다고 R² 가 아무리 작아도 선형모형에서 고전적 가정들(등분산, 자기상관성 없음, 내생성 없음 등)이 성립하면 변수간 관계를 추정하는 데에는 전혀 문제가 없다. 사회과학 모형은 결정계수가 낮을 가능성이 큰데, 모형을 잘 설정하고 적절한 추정방법을 사용했다면 R²가 작더라도 의미 있는 결론을 도출 할 수 있다.

R² 의 문제점은 너무 많은 것에 영향을 받으며, 대표적으로 종속 변수의 분산과 잔차의 분산에 크게 의존하게 된다. 또한, R² 이 모델 적합도를 나타내는 척도라 정의되어 있지만, 단순히 R² 값 만으로는 "모델 선형성" 이나 "종속변수와 독립 변수간의 관계" 또는 "모델적합도"에 대해여 별로 도움이 되지 않는다는 거다.

해당 문제점을 잘 보여주는 예제인 앤스컴 콰르텟의 나오는 4가지 데이터셋의 결정계수는 전부 동일하나, 시각화했을 경우, 매우 다른 결과가 나온다. 사실 해당 예제는 시각화가 중요하다 라는 걸 알리는 예제이지만, 0.67 이라는 결정계수값 만으로는 단순히 모델이 적합한지 판단할 수 없다 라는 점을 시사한다. 따라서, 선형 모델을 비교할 때는, 단순히 결정 계수값만 볼 게아니라 시각화를 통해 해당 모델이 적합한지 확인해야 한다.

선형모형의 목적이 종속변수의 예측에 있는 것이라면, 간단하게 R² 를 무시하면 된다. R² 는 선형모델의 예측력을 잘 설명하지 못하기 때문에 다른 성능 평가 지표들이 쓰인다. 대표적으로, 연속형 종속 변수의 경우, 평균 제곱 오차가 쓰이며 범주형 종속 변수의 경우, 혼동 행렬이 쓰인다.

반면 목적이 변수간 관계 추정에 있다면 R² 보다는 adjusted R² (수정된 결정계수) 가 더 중요하다. R² 는 독립변수의 개수를 추가할 경우, 변하지 않거나 증가하나 절대로 감소하지는 않는다. 따라서, 독립변수가 1개인 모델과 독립변수가 10개인 모델을 비교했을 때, 독립변수가 더 많은 모델의 결정계수가 더 클 수밖에 없다. 해당 문제를 해결하기 위해, adjusted R² (수정된 결정계수) 쓰인다. 수정된 결정계수는 표본의 크기와 독립변수의 수를 고려하여 계산이 된다. 따라서, 종속변수의 변동을 별로 설명해 주지 못하는 변수가 모형에 추가될 경우, 수정된 결정계수는 감소하게 되고 종속변수의 변동을 잘 설명해 주는 변수가 모형에 추가될 경우, 수정된 결정계수는 증가하게 된다. 단, 독립 변수의 개수가 1개인 단순 회귀의 경우, 결정계수값이 수정된 결정계수값과 동일하다.