이상치

異常點 / outlier

이상치(또는 이상점) 다른 자료와는 극단적으로 다른 값, 즉 유달리 높거나 낮은 값을 보이는 것을 일컫는다.

이상치는 여러 가지 정의로 나뉘게 되는데, 각각 통계적 이상치, 시각적 이상치, 도메인 지식에 의한 이상치로 말이다.

통계적 이상치는 말 그대로 통계적 기법을 사용하여 데이터를 분석할 때, 특정 관측값이 통계적으로 유의미한 패턴에서 벗어나는 경우 이상치로 간주한다. 보통 이상치라 하면 이런 통계적 이상치를 의미하고 시각적 이상치와 밀접한 관련이 있다.

이어서 시각적 이상치는 말 그대로 데이터를 시각적으로 표현해 다른 데이터 포인트와 현저히 다른 점을 눈으로 확인할 수 있는 경우를 말한다. 보통 시각적 이상치를 표현할 땐 boxplot, 산점도, 히스토그램 등을 사용한다.

특히 상자도표(boxplot)은 이상치를 직관적으로 표현해주는 유용한 툴인데, 상(하)사분위수로부터 1.5×IQR[2]만큼 떨어진 거리보다 더 먼 곳에서 발견되는 관측값으로 정의할 수 있다.

도메인 지식에 의한 이상치는 특정 분야의 전문 지식을 활용하여 식별된 이상치를 뜻하는데, 의료 분야로 쉽게 예를 들면, 어떤 환자의 특정 질병 진단을 위해 혈압, 혈당 수치 등을 분석할 때, 도메인 지식을 활용하여 이상치를 식별할 수 있게 되는데, 이게 시사하는 것이 특정 환자의 혈압 수치가 통계적으론 정상일순 있어도, 해당 환자의 병력이나 다른 증상과 비교했을 때 비정상적으로 간주될 수 있다. 그러니까 겉으로 보이는 것만 보면 안된단 것이다.

아웃라이어가 대체로 산점도(scatterplot)나 상자도표 같은 통계 데이터 시각자료에서 나타나기 때문에 이상점이라고도 불린다. 통계학 외에서는 특이점(特異點/singularity)이라는 다른 말을 쓴다.

예를 들어 산점도를 그린다고 가정해 보자. 좌표평면을 펼쳐 놓고 점을 마구 찍게 되면, 대체로 점들이 일정한 범위에 걸쳐서 모이게 되는 모습이 나타날 것이다. 그런데 그 중에는 여러분이 상당히 먼 바깥에 외따로 찍어놓은 점도 몇 개 있을 것이다. 이런 값은 전체 평균값을 크게 왜곡시킨다. 그러나 이렇게 뜬금없는 자리에 찍힌 점은 큰 통계적 의미는 없는 경우가 많지만 간혹 통계적으로 굉장히 중요하게 취급되는 경우도 있기는 있다. 특히 반례 사례를 찾는 경우 등. 따라서 아주 무시하고 넘길 수만도 없다.

그래서 데이터를 취급하는 과학자들은 이런 점들을 보통 아웃라이어라고 부르면서 별도로 관리한다. 이들만 데이터에서 체계적으로 배제하는 과정을 '절사(trim[3])한다.'고 표현한다.

이상치를 판단하기 위해 수많은 계산이 필요한데, 종속변수의 분포를 그려보면 판단하기가 아주 쉽다. 즉 히스토그램과 정규 분포 곡선을 이용해서 종속변수의 정규성에 대한 개괄적인 판단이 가능하다. 여기서 주의할점은 잔차의 분포가 정규분포라고 가정해야 하기 때문에 진짜 판단을 잘하려면 잔차의 분포를 살펴야할지도 모른다.

이상치를 판별하는데 다양한 방법이 있는데, 보통 Z-score가 +3.0 이상, -3.0 이하인 경우나, 이상치로 의심되는 데이터의 표준편차가 $x > \mu + 3\sigma$ or $x < \mu - 3\sigma$인 경우가 그 예다.

때문에 표준정규분포표도 일반적으론 3.0의 값 까지만 나오고 그 이후부턴 교과서 상에선 다루지 않는다.

보다 엄밀한 측정과 기술적 처리를 위해 IQR을 이용해 검출하기도 한다.

이상치의 원인은 여러 가지 이유로 발생하나, 보통 그 유형은 데이터 입력 오류, 측정 오류, 샘플링 오류, 자연적 변동 등으로 나타난다.

데이터 입력 오류는 말 그대로 사람이 데이터를 입력할 때 실수로 잘못 입력하는 경우를 말하고, 측정 오류는 장비나 시스템 오류로 인해 잘못된 값이 기록되는 경우다.

다음은 샘플링 오류는 샘플링 과정에서 비정상적인 값이 포함되는 경우고, 자연적 변동은 실제 관찰 데이터 내에 자연스럽게 발생하는 변동이다. 특히 자연적 변동의 대표적인 예론 키가 200cm가 넘는 사람이나 삼각근 포함 어깨너비가 56.0cm를 넘는 경우가 그 예다.

이상치는 통계학이 발전함에 따라 자연스럽게 형성된 개념이다. 통계학의 초기 발달 단계인 19세기 후반, 통계학자들은 데이터를 분석할 때 특이값(특이점)에 눈독을 들였다. 이들이 데이터 해석에 있어 주요 골칫거리 중 하나이기 때문이다. 그래서 데이터의 분포와 특이점의 중요성이 인식되어서 여러 가지 방법론들이 도안되었다.

프랜시스 갤턴(Francis Galton)과 카를 피어슨(Karl Pearson)이 대표적으로 이상치 해석의 기초를 마련한 인물들로, 그들의 연구에서 데이터의 이상치의 해석법이 언급됐다. 특히, 피어슨은 데이터 분포와 관련된 개념을 연구하면서, 특이값의 영향을 분석하기 위한 방법론을 개발했다. IQR, boxplot, 로버스트 회귀 등이 그 예다.

이후 존 튜키(John Tukey)는 1977년에 출판된 "탐색적 데이터 분석(Exploratory Data Analysis)", 즉 EDA에서 데이터 분석 과정에서 이상치의 중요성을 강조했는데, 이상치를 시각화하고 탐색하기 위한 다양한 도구와 기법을 개발했다. 이는 오늘날 이상치 분석의 기초가 되었는데, 상술한 박스플롯(Box Plot)과 같은 시각화 도구는 이상치를 쉽게 식별할 수 있도록 도와줌으로써 오늘날 이상치의 해석 방법론들이 마련되었다.