다중회귀·다중공선성

넓은 주택은 대개 좋은 지역에 있고 방 수도 많습니다. 면적만 가격과 회귀하면 면적 계수에는 지역과 방 수의 차이까지 섞일 수 있습니다.

다중회귀는 여러 예측변수를 동시에 넣어 나머지 변수를 같은 값으로 비교할 때 한 변수와 결과의 관계를 추정합니다.

모형은 ŷ=b₀+b₁X₁+…+bₚXₚ입니다. 각 계수는 모형에 들어간 다른 변수들을 일정하게 유지한 조건부 변화량입니다.

통제는 현실에서 변수를 고정하는 실험과 완전히 같지 않습니다. 회귀는 관측자료에서 공변량이 같은 경우의 평균 차이를 수학적으로 추정합니다. 자료에 그런 비교가 거의 없으면 계수는 외삽에 가까워집니다.

누락된 변수가 X와 Y 모두에 관련되면 포함된 X의 계수가 편향될 수 있습니다. 반대로 매개변수나 충돌변수를 무조건 통제하면 원하는 총효과를 제거하거나 새 편향을 만들 수 있습니다.

면적과 방 수처럼 예측변수 사이의 선형관계가 강하면 모형은 두 변수의 결합 효과는 알지만 각각의 몫을 안정적으로 나누기 어렵습니다.

VIFⱼ=1/(1−Rⱼ²)입니다. Xⱼ를 다른 X들로 회귀한 R²가 높을수록 VIF가 커지고 계수분산이 팽창합니다.

F검정과 R²는 예측변수 집합 전체가 결과를 설명하는지 보고, t검정과 신뢰구간은 다른 변수를 통제한 개별 계수를 평가합니다.

결과·주요 노출·교란 후보를 사전에 정의하고 결측·범주 코딩·스케일을 확인합니다. 적합 후 전체 성능, 계수, 공선성, 잔차, 영향점을 차례로 봅니다.

주택 300채를 분석해 가격(백만원)=120+0.42×면적−1.8×연식+35×역세권 모형을 얻었다고 합시다.

각 X와 Y의 조건부 관계가 선형인지, 비교할 공변량 조합이 자료에 실제로 존재하는지 확인합니다. 변수 수가 표본에 비해 많으면 학습자료 R²는 오르지만 새 자료 성능은 나빠질 수 있습니다.

예측변수 간 상관이 커지면 같은 표본에서도 개별 계수의 불확실성이 증가합니다. 표본을 늘리면 일부 완화되지만 완전한 중복은 해결되지 않습니다.

요약은 아래 핵심 정리에서 확인합니다.

• •
  다중회귀 계수는 다른 포함 변수를 일정하게 유지한 조건부 관계다.
• •
  통제변수는 연구 질문과 인과 구조로 선택한다.
• •
  공선성은 계수 SE와 불안정성을 키우지만 예측을 항상 망치지는 않는다.
• •
  VIF는 중복 정보의 진단값이지 자동 삭제 기준이 아니다.
• •
  전체 R²와 개별 계수의 유의성은 다른 질문이다.
• •
  잔차·영향점·검증 성능과 함께 모형을 평가한다.