로버스트 회귀

중고차는 주행거리가 길수록 판매가격이 낮아질까요? 그런데 시세보다 훨씬 비싼 희귀 차량이나 지나치게 저렴하게 거래된 차량이 섞여 있다면 분석 결과는 어떻게 달라질까요?

이처럼 일부 특이 관측값이 전체 회귀결과에 지나치게 큰 영향을 주지 않도록 관계를 추정하는 방법이 로버스트 회귀(Robust Regression)입니다.

일반 최소제곱 회귀는 큰 잔차를 제곱해 반영하기 때문에 소수의 극단적인 거래가 회귀선을 상당히 움직일 수 있습니다. 로버스트 회귀는 선택한 추정 방법에 따라 큰 잔차의 영향을 완화해 전반적인 관계를 보다 안정적으로 살펴봅니다. 그렇다고 이상치나 입력 오류를 자동으로 해결하는 것은 아닙니다.

거래가격, 소득, 제조 공정의 측정값처럼 극단적인 관측이 나타날 수 있는 자료에서 유용합니다. 이번 글에서는 중고차 주행거리와 판매가격의 관계를 예제로 추정 원리, 일반 회귀와의 비교, 회귀선과 결과표 해석, 영향점 점검과 결과 보고까지 살펴보겠습니다.

선형회귀는 설명변수가 한 단위 증가할 때 결과변수가 평균적으로 얼마나 달라지는지 회귀계수로 나타냅니다. 일반적인 최소제곱법(OLS)은 관측값과 예측값의 차이인 잔차를 제곱하여 합한 값을 최소화합니다.

로버스트 회귀는 큰 잔차가 발생했을 때 그 영향을 완화하는 손실함수나 추정 방식을 사용합니다. 예를 들어 Huber 회귀는 잔차가 작을 때는 제곱손실을, 일정 기준을 넘어서면 선형으로 증가하는 손실을 적용합니다.

일반 승용차 14대는 주행거리가 늘어날수록 판매가격이 일정하게 내려가지만, 높은 주행거리에도 특별한 수집 가치 때문에 비싸게 팔린 차량 한 대가 있다고 가정하겠습니다. 반대로 사고 이력이 있는 차량이 매우 낮은 가격에 거래될 수도 있습니다.

이처럼 특수한 거래가 섞이면 OLS 회귀선은 큰 오차를 줄이기 위해 해당 관측값 쪽으로 움직일 수 있습니다. 연구자가 알고 싶은 것이 일반적인 중고차 가격의 경향이라면, OLS만 제시하기보다 로버스트 추정 결과와 함께 비교하는 것이 도움이 됩니다.

다만 높은 레버리지의 관측값이나 데이터 입력 오류까지 자동으로 해결해 주지는 않습니다. 로버스트 회귀를 적용하기 전후로 데이터의 특성과 진단 결과를 확인해야 합니다.

① 관계를 나타낼 회귀식 설정

판매가격을 결과변수로, 주행거리를 설명변수로 설정합니다. 기본 모형은 판매가격 = 절편 + 기울기 × 주행거리 + 오차입니다.

② 초기 회귀선과 잔차 계산

모형이 예측한 가격과 실제 거래가격의 차이를 구합니다. 잔차가 클수록 해당 거래는 일반적인 추세에서 멀리 떨어져 있습니다.

③ 큰 잔차의 영향 조절

Huber M-추정은 표준화된 잔차가 큰 관측값에 상대적으로 낮은 가중치를 부여하여 극단값이 계수를 과도하게 움직이지 않게 합니다.

④ 반복 추정

계수와 가중치를 갱신하는 반복 계산을 통해 최종 추정값을 구합니다.

⑤ 일반 회귀와 결과 비교

OLS와 로버스트 추정의 기울기, 잔차, 영향을 크게 받는 관측값을 비교하여 결과가 얼마나 민감한지 확인합니다.

가상의 중고차 거래 16건을 관찰했다고 가정하겠습니다. 가격은 만 원, 주행거리는 만 km 단위로 표시했습니다. 일부 비정상적인 거래가격을 포함한 학습용 예시 데이터입니다.

예시 데이터를 각각 OLS와 Huber 로버스트 회귀로 추정했습니다. 두 방법 모두 주행거리가 늘어날수록 가격이 내려가는 관계를 보여주지만 하락 폭은 서로 다릅니다.

OLS에서는 주행거리 1만 km 증가에 따른 가격 감소가 약 84.7만 원, Huber 회귀에서는 약 97.1만 원으로 추정되었습니다. 특이 거래를 모두 없애야 한다는 뜻이 아니라, 일부 거래의 큰 잔차를 어느 정도 반영할지에 따라 추세의 추정이 달라질 수 있다는 의미입니다.

Huber 결과에서 주행거리의 회귀계수는 −97.1입니다. 주행거리가 1만 km 늘어날 때 판매가격이 약 97.1만 원 감소하는 선형 관계로 추정되었다는 뜻입니다. 절편 2,993.8만 원은 주행거리가 0인 경우의 모형상 예측가격이며, 실제 신차 가격을 의미하지는 않습니다.

계수와 신뢰구간

통계적 보고를 위해서는 계수의 점추정치만이 아니라 표준오차와 신뢰구간의 계산 방법도 확인해야 합니다. 특히 로버스트 회귀의 p값을 OLS의 p값과 무조건 같은 방식으로 비교해서는 안 됩니다.

가중치와 영향력이 큰 관측값

Huber 회귀에서는 잔차가 큰 관측값에 낮은 가중치가 적용될 수 있습니다. 다만 설명변수 값 자체가 극단적인 고레버리지 관측값은 잔차 기반 가중치만으로 충분히 제어되지 않을 수 있습니다.

OLS가 항상 잘못되거나 로버스트 회귀가 항상 더 정확한 것은 아닙니다. 특이 거래가 실제 분석 대상 시장의 중요한 일부라면 그 값을 낮은 가중치로 반영하는 것이 연구 목적에 맞는지 검토해야 합니다.

입력 실수로 가격이 3,000만 원 대신 30,000만 원으로 저장되었다면 우선 자료를 바로잡아야 합니다. 반대로 실제 거래된 희귀 차량이라면 그 사례를 포함할지, 별도 시장으로 구분할지 등 연구 목적에 따라 분석 전략을 정해야 합니다.

오류 데이터는 먼저 확인해야 합니다.

로버스트 회귀는 잘못 입력한 값이나 서로 다른 통화 단위를 자동으로 구별하지 않습니다. 특이 관측값의 실제 의미를 먼저 확인해야 합니다.

높은 레버리지 관측값을 따로 진단해야 합니다.

설명변수 쪽에서 극단적인 사례는 회귀선에 큰 영향을 줄 수 있습니다. 잔차만을 기준으로 한 로버스트 추정만으로는 충분하지 않을 수 있습니다.

비선형 관계나 누락 변수를 확인해야 합니다.

주행거리와 가격의 관계가 곡선형이거나 연식·브랜드·사고 이력 등이 중요하다면 직선 모형 자체가 적절하지 않을 수 있습니다.

방법과 설정을 보고해야 합니다.

Huber 손실의 임계값, 추정 알고리즘, 수렴 기준 등은 구현에 따라 다를 수 있으므로 사용한 방법을 명확하게 제시해야 합니다.

표본과 연구 목적을 고려해야 합니다.

이번 예제는 16건의 설명용 자료입니다. 실제 판매가격을 예측하거나 시장 가격을 일반화하기에는 더 많은 대표성 있는 거래 자료와 검증이 필요합니다.

Huber M-추정

작은 잔차에는 제곱손실을, 큰 잔차에는 완화된 손실을 적용하는 방법입니다. 이번 예제에서 사용했습니다.

Tukey의 biweight

잔차가 매우 큰 관측값에는 영향이 더 크게 줄어들도록 설계된 손실함수를 사용합니다.

최소절사제곱(LTS)

잔차 제곱이 작은 일부 관측값을 중심으로 계수를 추정하여 이상치의 영향을 줄이는 방식입니다.

강건 표준오차와의 차이

OLS 회귀계수는 그대로 두고 이분산성 등에 강건한 표준오차만 계산하는 방법도 있습니다. 이는 회귀계수 자체를 로버스트하게 다시 추정하는 방법과 다릅니다.

논문이나 분석 보고서에서는 “로버스트 회귀를 사용했다”라고만 쓰기보다 Huber M-추정처럼 구체적인 방법을 명시해야 합니다. 또한 중요한 관측값의 특성과 OLS와의 비교 결과를 제시하면 분석 선택의 근거가 분명해집니다.

위 문장은 학습용 데이터의 계수 결과를 설명한 예시입니다. 실제 연구에서는 표준오차와 신뢰구간, 모형 진단, 변수 통제 여부를 확인한 뒤 보고 내용을 완성해야 합니다.

부동산·중고차 가격 분석

특별한 고가 거래나 특수한 거래 조건으로 인해 일반적인 가격 추세가 흔들리는지 확인할 수 있습니다.

경제·금융 연구

극단적인 수익률이나 일부 관측기간의 큰 변동이 회귀계수에 미치는 영향을 점검할 수 있습니다.

환경 및 기상 데이터

일부 매우 높은 측정값이 오염물질과 기상 요인의 관계를 크게 바꾸는지 검토할 수 있습니다.

의료 및 보건 연구

측정값의 일부 극단적인 사례에 대한 추정의 민감성을 살펴볼 수 있습니다.

운영 및 산업 데이터

기계 센서나 생산 공정에서 드물게 발생하는 큰 측정 편차를 고려해 관계를 추정할 수 있습니다.

로버스트 회귀는 특이한 관측값 몇 개가 회귀계수를 과도하게 바꾸는 상황을 완화하는 데 도움이 됩니다. 중고차 거래 예제에서는 일반 최소제곱 회귀와 로버스트 회귀선을 비교해 이상 거래가격이 전체 추세에 어떤 영향을 주는지 살펴봤습니다.

하지만 로버스트 회귀가 모든 이상값에 강한 것은 아닙니다. 큰 잔차와 높은 레버리지를 구분하고, 입력 오류나 누락 변수, 비선형 관계의 가능성도 검토해야 합니다. 따라서 추정 방법과 관측값의 의미를 함께 확인한 뒤 결과를 해석하는 것이 중요합니다.