로버스트 회귀와 분위회귀

일반적인 최소제곱 회귀(OLS)는 실제값과 예측값의 차이를 제곱해 오차를 계산합니다. 따라서 일부 관측값이 다른 데이터와 크게 다르면 회귀계수와 회귀선에 상당한 영향을 줄 수 있습니다. 또한 평균적인 관계만으로는 데이터의 전체적인 특성을 파악하기 어려운 경우도 있습니다. 예를 들어 소득이 교육 수준에 따라 어떻게 달라지는지 분석할 때, 평균 소득뿐 아니라 저소득층과 고소득층에서 나타나는 관계도 궁금할 수 있습니다.

이러한 상황에서 활용할 수 있는 방법이 로버스트 회귀(Robust Regression)와 분위회귀(Quantile Regression)입니다. 앞의 두 문제가 각각 두 방법의 출발점입니다.

OLS는 잔차제곱합 SSE = Σ(y_i − ŷ_i)²을 최소화합니다. 잔차의 절댓값이 커질수록 제곱된 오차는 더 빠르게 증가합니다. 예를 들어 잔차가 2인 관측값의 제곱 오차는 4이지만, 잔차가 10인 관측값의 제곱 오차는 100입니다. 잔차는 5배인데 제곱 오차는 25배이므로, 극단적인 관측값 하나가 모형 추정에 큰 영향을 줄 수 있습니다(02장 4절).

그림 1은 20개 관측값 중 오른쪽 끝 2개만 매우 낮은 값으로 바꾼 데이터입니다. 이 두 점이 없다면 기울기는 3.01인데, 두 점이 들어가자 OLS 기울기가 0.92로 크게 떨어집니다. 큰 잔차를 줄이려고 회귀선 전체가 그 두 점 쪽으로 기운 것입니다.

다만 극단적인 관측값이 있다고 해서 반드시 잘못된 데이터인 것은 아닙니다. 실제로 발생한 중요한 사례일 수도 있으므로, 먼저 데이터 오류인지 실제 관측값인지 확인해야 합니다(06장 7절).

로버스트 회귀는 일부 관측값이 다른 데이터와 크게 다르더라도 회귀계수가 지나치게 영향을 받지 않도록 설계한 회귀분석 방법입니다. 대표적인 접근법 중 하나는 OLS처럼 모든 잔차를 제곱하는 대신, 큰 잔차에 대한 영향을 상대적으로 제한하는 손실함수를 사용하는 것입니다.

Huber 손실함수는 대표적인 ρ입니다. 작은 잔차에는 제곱 손실을 적용하고, 큰 잔차에는 절댓값 손실과 비슷하게 직선으로 증가하도록 합니다.

• 잔차가 작을 때(그림 2의 파란 영역)는 OLS와 똑같이 동작합니다.
• 잔차가 클 때는 제곱 손실보다 벌점이 느리게 증가합니다.

따라서 극단적인 잔차가 회귀계수에 미치는 영향을 줄일 수 있습니다. 실제 계산에서는 큰 잔차를 가진 관측값에 작은 가중치를 주는 것과 같습니다. 그림 1의 데이터에 Huber 회귀를 적용하면 이상치 2개의 가중치는 0.06, 0.05로 거의 0에 가깝게 줄고, 나머지 관측값은 대부분 1에 가까운 가중치를 유지합니다. 이상치를 지우지 않고 목소리만 줄이는 셈입니다.

로버스트 회귀가 모든 이상치 문제를 해결할까? 그렇지는 않습니다. 로버스트 회귀는 주로 큰 잔차의 영향을 줄이지만, 모든 종류의 이상치나 영향력 있는 관측값에 완전히 강건한 것은 아닙니다. 예를 들어 설명변수 X의 값 자체가 다른 관측값과 매우 멀리 떨어진 고레버리지(high-leverage) 관측값은 잔차가 크지 않더라도 회귀 결과에 영향을 줄 수 있습니다.

그림 3은 X가 다른 점들보다 세 배쯤 멀리 떨어진 점 하나를 추가한 경우입니다. 이 점이 회귀선을 시소처럼 끌어내려서, 선이 그 점 가까이 지나가게 됩니다. 그러면 그 점의 잔차가 오히려 작아져 Huber 회귀도 이를 이상치로 알아채지 못하고, OLS(-0.03)와 똑같이 기울기가 -0.04로 무너집니다. 따라서 잔차, 레버리지, 영향력 진단(Cook's distance 등)을 함께 확인해야 합니다.

그림 4는 그림 1과 같은 데이터에 두 방법을 적용한 결과입니다. OLS 기울기는 0.92, Huber 기울기는 2.75로, Huber는 이상치를 지우지 않고도 이상치를 뺐을 때의 기울기(3.01)에 가깝게 추정합니다.

로버스트 회귀는 이상치를 무조건 삭제하는 방법이 아닙니다. 관측값을 유지하면서 추정에 미치는 영향을 조정하는 접근법입니다.

분위회귀(Quantile Regression)는 종속변수의 평균이 아니라 특정 분위수(Quantile)에 해당하는 관계를 분석하는 방법입니다. OLS가 조건부 평균을 모델링한다면, 분위회귀는 조건부 중앙값이나 25분위수, 75분위수 등 관심 있는 분위수를 모델링할 수 있습니다. 예를 들어 소득과 교육 연수의 관계를 분석할 때 다음과 같은 질문을 할 수 있습니다.

• 평균적인 소득 수준에서는 교육 연수가 어떤 관계를 보이는가?
• 상대적으로 소득이 낮은 집단에서는 그 관계가 어떠한가?
• 상대적으로 소득이 높은 집단에서는 그 관계가 어떠한가?

그림 5는 교육 연수와 소득의 모의 데이터 400명에 25%, 50%, 75% 분위회귀선과 OLS 평균선을 그린 것입니다. 교육 연수가 길수록 소득이 넓게 퍼지는 데이터라서, 위쪽(75%) 선은 가파르게 올라가고 아래쪽(25%) 선은 완만합니다. 평균선 하나만 보면 이런 차이가 드러나지 않습니다. 분위회귀를 활용하면 이러한 차이를 분석할 수 있습니다.

분위수는 관측값을 작은 순서부터 정렬했을 때 어느 위치에 해당하는지를 나타냅니다.

예를 들어 소득의 90분위수는 해당 분포에서 약 90%가 그 값 이하에 위치하는 지점을 의미합니다. 단, 실제 표본에서는 분위수 계산 방식에 따라 정확한 값이 달라질 수 있습니다.

분위회귀에서 중요한 점은 단순히 데이터를 소득 순서대로 나누어 각 집단에 별도의 회귀분석을 적용하는 것이 아니라는 것입니다. 소득 상위 25%만 골라 회귀하면, 교육 연수가 짧은데 소득이 높은 사람처럼 한쪽으로 치우친 사람들만 남아 관계가 왜곡됩니다. 분위회귀는 모든 데이터를 쓰면서, 설명변수의 특정 값이 주어졌을 때 종속변수 분포의 어느 분위수가 어떻게 달라지는지를 추정합니다.

OLS는 잔차제곱합을 최소화하지만, 분위회귀는 비대칭적인 체크 손실함수(check loss function)를 최소화합니다. 분위수 τ에 대한 목적함수는 min Σ ρ_τ(y_i − x_iᵀβ)이고, 체크 손실함수는 다음과 같습니다.

그림 7처럼 τ = 0.5이면 양쪽 기울기가 같아, 잔차 절댓값의 합을 최소화하는 것과 같습니다. 이것이 중앙값 회귀이며, OLS가 잔차의 제곱을 사용하는 것과는 다른 접근입니다. τ = 0.75이면 실제값이 예측보다 클 때(r > 0)의 벌점이 0.75, 작을 때의 벌점이 0.25로 세 배 차이가 납니다. 그래서 선이 위로 올라가, 점의 약 75%가 선 아래에 놓이는 위치에서 균형을 이룹니다.

그림 8은 실제로 추정한 세 분위회귀선 아래에 놓인 관측값의 비율입니다. τ = 0.25 선 아래에는 약 25%, 0.5 선 아래에는 약 50%, 0.75 선 아래에는 약 75%의 점이 놓입니다.

교육 연수와 소득 사이의 관계를 분석한다고 가정하겠습니다. 다음은 이해를 돕기 위한 가상의 결과와, 이 장의 모의 데이터로 실제 계산한 값입니다.

그림 9는 τ를 0.1부터 0.9까지 바꾸며 교육 연수의 계수를 계산한 결과입니다. 계수가 분위수에 따라 꾸준히 커지고, 신뢰구간(보라 띠)도 OLS 값(점선)을 아래쪽과 위쪽에서 벗어납니다. 이 결과라면 교육 연수와 소득의 관계가 조건부 소득 분포의 위치에 따라 다를 가능성을 살펴볼 수 있습니다.

그러나 이 계수만으로 교육의 인과효과가 저소득층보다 고소득층에서 크다고 결론 내릴 수는 없습니다. 또한 분위별 계수가 서로 다르게 추정되었다고 해서 그 차이가 통계적으로 유의하다는 뜻도 아닙니다. 계수 간 차이를 직접 검정하거나 적절한 신뢰구간을 확인해야 합니다.

보고서에는 다음과 같이 작성할 수 있습니다.

두 방법 모두 OLS와 다른 방식으로 데이터를 다루지만, 목적은 다릅니다.

두 방법은 서로 대체 관계만 있는 것은 아닙니다. 중앙값 회귀는 잔차를 제곱하지 않으므로 그 자체로 큰 잔차에 덜 민감한 로버스트 방법이기도 합니다. 연구 질문에 따라 하나를 선택하거나, 서로 다른 관점에서 결과를 비교할 수도 있습니다.

• 극단적인 잔차의 영향을 줄이고 싶다: 로버스트 회귀를 고려합니다. 먼저 관측값의 오류 여부와 영향력 진단을 확인합니다.
• 평균뿐 아니라 분포의 여러 위치를 분석하고 싶다: 분위회귀를 고려합니다. 중앙값이나 25·75분위수 등 연구 목적에 맞는 분위수를 선택합니다.
• 어떤 모형이 적절한지 판단하기 어렵다: OLS 결과를 기본으로 확인하고, 잔차와 영향력 진단 및 연구 질문에 따라 다른 방법의 결과를 비교합니다.

분위회귀는 분포의 특정 위치를 이해하는 데 유용하지만, 모든 분위수에서 계수가 동일한 정밀도로 추정되는 것은 아닙니다. 그림 9에서도 양 끝(τ = 0.1, 0.9)의 신뢰구간이 가운데보다 넓습니다. 특히 표본이 작거나 특정 구간의 데이터가 부족하면 추정이 불안정할 수 있으므로 신뢰구간도 함께 확인해야 합니다.

• 로버스트 회귀는 큰 잔차가 회귀계수 추정에 미치는 영향을 완화하는 데 초점을 둡니다.
• 분위회귀는 조건부 평균이 아니라 중앙값이나 다른 분위수의 관계를 분석합니다.
• 로버스트 회귀는 이상치에 대한 민감도를 줄이기 위한 방법이며, 분위회귀는 분포의 위치별 관계를 파악하기 위한 방법입니다.
• 두 방법 모두 자동으로 이상치 문제나 인과관계 문제를 해결해 주지는 않습니다.
• 분석 방법은 데이터의 특성과 연구 질문에 따라 선택해야 합니다.

다음은 12 혼합효과모형입니다. 학생이 학교에 속하거나 환자가 병원에 속하는 것처럼 데이터에 집단 구조가 있을 때, 집단 간 차이와 집단 내 관계를 함께 분석하는 방법을 살펴봅니다.