다중선형회귀

단순선형회귀는 설명변수 하나로 종속변수를 설명합니다. 하지만 실제 현상은 대개 여러 요인의 영향을 받습니다. 매출은 광고비뿐 아니라 가격, 계절, 경쟁 상황에도 영향을 받을 수 있고, 시험 점수는 학습 시간뿐 아니라 사전 지식이나 출석률과도 관련될 수 있습니다.

다중선형회귀는 여러 설명변수를 동시에 고려해 종속변수와의 관계를 분석하는 방법입니다. 핵심은 다른 설명변수의 영향을 고려한 상태에서 각 변수의 관계를 해석하는 것입니다.

한 기업이 광고비와 제품 가격을 이용해 월 매출을 설명한다고 가정해 보겠습니다.

• 광고비가 늘어나면 매출이 증가할 수 있습니다.
• 가격이 높아지면 판매량이 줄어들 수 있습니다.
• 광고비와 가격이 동시에 달라지면, 한 변수와 매출의 단순한 관계만으로는 각 변수의 역할을 구분하기 어렵습니다.

이때 설명변수 두 개를 동시에 모형에 포함할 수 있습니다.

이렇게 하면 광고비와 매출의 관계를 분석할 때 제품 가격도 모형에 포함하여 고려할 수 있습니다. 그림 1의 점선처럼 두 설명변수가 함께 움직이는 경우가 많다는 점이 중요합니다. 예를 들어 광고를 많이 하는 달에 가격도 함께 올린다면, 광고비만 보고는 매출 변화 중 어디까지가 광고 덕분이고 어디부터가 가격 탓인지 알 수 없습니다. 다만 다른 변수를 모형에 포함했다는 사실만으로 모든 교란요인이 통제되는 것은 아닙니다.

설명변수가 두 개인 경우 회귀식은 Y_i = β₀ + β₁X_i1 + β₂X_i2 + ε_i이고, 설명변수가 p개라면 다음과 같이 일반화할 수 있습니다.

여기서 ‘선형’은 설명변수가 반드시 직선 형태로 변해야 한다는 뜻이 아닙니다. 회귀계수에 대해 모형이 선형적으로 표현된다는 뜻입니다. 즉 각 항이 “계수 × 무언가” 꼴로 더해지기만 하면 됩니다. 예를 들어 X²를 설명변수로 포함한 다항회귀(Y = b₀ + b₁X + b₂X²)도 계수에 대해서는 선형모형입니다. 반면 Y = b₀ · e^b₁X처럼 계수가 지수 안에 들어가면 선형모형이 아닙니다.

다음과 같은 회귀식이 추정되었다고 가정하겠습니다. 광고비 X₁은 백만 원, 제품 가격 X₂는 천 원, 매출은 백만 원 단위입니다.

• 광고비의 회귀계수 +3.2: 제품 가격이 같다고 할 때 광고비가 100만 원 증가하면, 모형에서 예상하는 매출은 평균적으로 320만 원 증가합니다.
• 제품 가격의 회귀계수 −1.5: 광고비가 같다고 할 때 제품 가격이 1,000원 증가하면, 모형에서 예상하는 매출은 평균적으로 150만 원 감소합니다.
• 절편 100: 광고비와 제품 가격이 모두 0일 때 예측 매출은 1억 원입니다. 다만 가격이 0원인 제품은 현실적으로 의미가 없으므로 해석에 주의해야 합니다.

단순선형회귀의 회귀식은 직선이었지만, 설명변수가 두 개면 회귀식은 그림 3처럼 기울어진 평면이 됩니다. 이 평면 위에서 가격 축은 그대로 두고 광고비 축 방향으로만 한 칸 움직이면 매출이 3.2만큼 올라가고, 광고비 축은 그대로 두고 가격 축 방향으로만 움직이면 매출이 1.5만큼 내려갑니다. 즉 각 계수는 평면의 한 방향 기울기이며, 나머지 방향은 움직이지 않은 채로 잰 값입니다. 평면이라 어느 위치에서 재든 같은 방향의 기울기는 항상 같습니다. 설명변수가 세 개 이상이면 그림으로 그릴 수는 없지만 원리는 같습니다.

특히 광고비 계수의 해석에서 중요한 표현은 “제품 가격이 같다고 할 때”입니다. 다중선형회귀의 계수는 다른 설명변수의 값을 일정하게 유지했을 때 해당 변수가 한 단위 변하는 것과 관련된 종속변수의 예측 변화량을 나타냅니다. 이것이 단순선형회귀의 계수 해석과 구별되는 중요한 특징입니다.

위의 회귀식에 광고비 10(백만 원), 제품 가격 20(천 원)을 대입해 보겠습니다.

따라서 예상 매출은 102백만 원, 즉 1억 200만 원입니다. 그림 4처럼 절편 100에서 출발해 광고비가 32만큼 올리고 가격이 30만큼 내린 결과입니다.

이 계산은 추정된 회귀식으로 예측값을 구하는 방법을 보여 줍니다. 다만 실제 예측의 정확도는 모형의 적합도, 데이터의 범위, 변수 간 관계 등에 따라 달라집니다.

단순선형회귀에서 광고비와 매출만 살펴보면, 광고비가 높은 달에 매출도 높은 이유가 광고 효과인지 다른 요인 때문인지 구분하기 어려울 수 있습니다.

예를 들어 매출이 높은 성수기에 광고비도 함께 증가한다면 광고비와 매출 사이에 관찰된 관계에는 계절적 요인이 섞여 있을 수 있습니다. 다중선형회귀에 계절 관련 변수를 추가하면 해당 변수의 차이를 고려하면서 광고비와 매출의 관계를 추정할 수 있습니다. 쉽게 말해 성수기는 성수기끼리, 비수기는 비수기끼리 비교한 광고비의 관계를 구하는 것입니다.

숫자로 확인해 보겠습니다. 위 회귀식과 같은 결과가 나오도록 만든 12개월 가상 데이터에서, 광고비가 많은 달은 가격도 높은 경향이 있었습니다(상관계수 0.88). 이 데이터로 가격을 빼고 광고비만 넣은 단순회귀를 하면 광고비의 기울기는 2.4입니다. 가격을 함께 넣으면 3.2가 됩니다. 광고비를 늘린 달에 가격도 올라 매출 일부가 깎였는데, 단순회귀는 그 손해까지 광고비 탓으로 섞어 계산했기 때문입니다. 가격을 함께 넣어야 광고비만의 관계가 드러납니다.

하지만 통제할 변수를 무엇으로 선택하느냐도 중요합니다. 중요한 변수를 누락하거나 부적절한 변수를 포함하면 계수 해석이 왜곡될 수 있습니다. 따라서 변수를 무조건 많이 넣는 것보다 연구 목적과 이론적 근거에 맞게 선택해야 합니다.

다중선형회귀를 사용한다고 해서 언제나 단순선형회귀보다 좋은 모형이 되는 것은 아닙니다. 추가 변수가 유용한 정보를 제공하는지, 분석 목적에 적합한지, 결과가 안정적인지 확인해야 합니다.

개별 회귀계수뿐 아니라 모형 전체의 설명력도 살펴봅니다.

결정계수 R²는 종속변수의 표본 변동 중 회귀모형이 설명하는 비율을 나타냅니다. 일반적인 선형회귀에서 절편을 포함한 OLS 모형은 설명변수를 추가해도 표본 내 R²가 감소하지 않습니다. 새 변수가 쓸모없으면 계수를 0에 가깝게 두면 그만이라, 잔차제곱합이 늘어날 일이 없기 때문입니다. 따라서 변수 추가 후 R²가 증가했다는 사실만으로 모형이 실질적으로 개선되었다고 판단하기는 어렵습니다.

수정 결정계수(Adjusted R²)는 설명변수의 수와 표본 크기를 고려해 R²를 조정합니다. 변수를 추가했을 때 설명력이 증가하더라도 그 증가가 충분하지 않으면 수정 결정계수는 낮아질 수 있습니다.

그림 7은 12개월 데이터에서 변수를 하나씩 추가한 결과입니다. 가격을 넣으면 R²와 수정 R²가 모두 오릅니다(0.926 → 0.958, 0.919 → 0.949). 그런데 매출과 아무 관련 없는 무작위 숫자를 변수로 넣어도 R²는 0.962로 조금 더 오르고, 수정 R²는 0.947로 내려갑니다. 수정 R²가 “늘어난 변수만큼의 설명력을 실제로 얻었는가”를 따지기 때문입니다.

두 지표 모두 모형 평가에 도움이 되지만, 새로운 데이터에 대한 예측력을 직접 보장하지는 않습니다. 예측이 목적이라면 검증 데이터나 교차검증 결과도 살펴봐야 합니다.

보고서에는 다음과 같이 작성할 수 있습니다.

• 다중공선성: 설명변수끼리 강하게 관련되어 있으면 각 계수의 추정이 불안정해지고 표준오차가 커질 수 있습니다.
• 누락변수: 중요한 요인을 제외하면 관심 있는 계수의 해석이 왜곡될 수 있습니다. 섹션 5의 광고비 기울기 2.4가 그 예입니다.
• 과적합: 불필요한 변수를 너무 많이 포함하면 표본에 지나치게 맞춰져 새로운 데이터에서 성능이 떨어질 수 있습니다.
• 비선형 관계: 실제 관계가 직선으로 충분히 표현되지 않는다면 변수 변환이나 비선형 항을 고려해야 합니다.
• 인과관계의 과도한 해석: 다른 변수를 포함했다고 해서 인과관계가 자동으로 확인되는 것은 아닙니다.

특히 설명변수 사이의 상관이 강한 경우에는 각 변수의 개별 효과를 구분하기 어려워질 수 있습니다. 이 예제의 광고비와 가격도 상관이 0.88로 높은 편입니다. 이런 문제를 진단하고 다루는 방법은 07 다중공선성에서 살펴봅니다.

• 다중선형회귀는 두 개 이상의 설명변수를 동시에 사용해 종속변수를 설명하거나 예측합니다.
• 회귀계수는 다른 설명변수를 일정하게 유지했을 때 해당 변수가 한 단위 변하는 것과 관련된 예측값의 변화량을 나타냅니다.
• 변수를 추가하면 설명력이 높아질 수 있지만, 무조건 좋은 모형이 되는 것은 아닙니다.
• 결정계수와 수정 결정계수는 모형 평가에 유용하지만, 새로운 데이터에서의 예측력이나 인과관계를 보장하지 않습니다.
• 변수 선택, 다중공선성, 잔차 진단을 함께 검토해야 합니다.

다음은 05 회귀계수의 통계적 추론입니다. 회귀계수의 추정치가 얼마나 불확실한지, 표준오차·신뢰구간·t검정·p값을 이용해 변수와 종속변수 사이의 관계를 어떻게 평가하는지 살펴봅니다.