회귀 진단·결정계수 R²·잔차

매출 회귀의 R²가 .95라면 매우 좋아 보입니다. 하지만 잔차가 곡선을 이루거나 한 대형 매장이 회귀선을 끌고 갔다면 높은 R²와 별개로 계수와 예측은 잘못될 수 있습니다.

회귀 진단은 하나의 점수로 모형을 합격시키는 절차가 아니라, 모형이 자료의 어떤 구조를 놓쳤는지 찾는 과정입니다.

잔차 eᵢ=yᵢ−ŷᵢ입니다. 양수면 과소예측, 음수면 과대예측입니다. OLS 절편이 있으면 잔차 합은 0이지만 이는 모형이 올바르다는 뜻이 아닙니다.

R²=1−SSE/SST입니다. 평균만 사용했을 때의 총오차 SST와 회귀선의 잔차오차 SSE를 비교합니다.

학습 R²는 변수를 추가하면 내려가지 않습니다. 조정 R²는 불필요한 변수에 벌점을 주지만 여전히 같은 표본 안의 지표입니다. 일반화 성능은 별도 검증이나 교차검증 R²로 확인합니다.

잔차 대 적합값 그림이 0 주변에 일정한 폭으로 무작위 분포하면 선형성과 등분산성이 대체로 맞습니다. 곡선은 비선형성, 부채꼴은 이분산성, 시간 순서의 파동은 자기상관 신호입니다.

이상치는 잔차가 큰 점, 고레버리지는 X공간에서 멀리 떨어진 점입니다. 영향점은 그 관측을 제거했을 때 계수나 예측이 크게 바뀌는 점이며 두 특성이 결합될 때 자주 나타납니다.

먼저 데이터 누출, 시간 순서, 독립성을 확인한 뒤 함수 형태·분산·영향점을 봅니다. 정규성은 작은 표본에서 계수 추론에 중요하지만 예측 정확성 자체의 필수조건은 아닙니다.

모형을 적합하고 R²·오차를 확인한 뒤 잔차그림과 영향점 진단을 수행합니다. 문제가 발견되면 데이터 오류, 변수 변환, 상호작용, 강건 SE, 다른 모형을 검토하고 다시 검증합니다.

매장 80개의 광고비·매출 회귀에서 학습 R²=.82였지만 잔차그림은 광고비가 큰 구간에서 아래로 굽고 한 대형 매장의 Cook’s D가 컸습니다.

R²가 높아도 편향, 누출, 잘못된 함수형태가 있을 수 있고 낮아도 잡음이 큰 분야에서 유용한 효과를 추정할 수 있습니다. 잔차가 정규라는 이유만으로 선형성·독립성·인과성이 보장되지 않습니다.

모형이 설명한 변동과 남은 오차를 바꿔보세요. R²가 같은 두 모형도 잔차 패턴과 검증 성능은 다를 수 있음을 기억합니다.

요약은 아래 핵심 정리에서 확인합니다.

• •
  잔차는 실제값−예측값이며 모형이 놓친 구조를 담는다.
• •
  R²는 표본 내 변동 감소이지 인과성·정확성 보증이 아니다.
• •
  조정 R²와 검증 R²는 서로 다른 목적이다.
• •
  잔차 곡선·부채꼴·연속 패턴을 확인한다.
• •
  이상치·레버리지·영향점을 구분하고 자동 삭제하지 않는다.
• •
  진단 후 수정 모형은 새 자료에서 다시 검증한다.