범주형 설명변수와 상호작용

지금까지는 광고비, 공부 시간처럼 숫자로 측정되는 변수를 중심으로 회귀분석을 살펴봤습니다. 하지만 실제 연구에서는 성별, 교육 방식, 지역, 제품 유형처럼 범주로 구분되는 변수도 중요합니다. 또한 한 변수의 효과가 다른 변수의 수준에 따라 달라지는 경우도 있습니다. 예를 들어 공부 시간이 성적에 미치는 영향이 교육 방식에 따라 달라질 수 있습니다.

이번 장에서는 범주형 변수를 회귀모형에 포함하는 방법과 두 변수 사이의 상호작용을 해석하는 방법을 알아봅니다.

범주형 변수(Categorical Variable)는 관측 대상을 서로 다른 집단이나 유형으로 구분하는 변수입니다.

숫자로 코딩했다고 해서 반드시 수치형 변수가 되는 것은 아닙니다. 예를 들어 온라인을 1, 오프라인을 2로 코딩하더라도 2가 1보다 두 배 크다는 의미는 없습니다. 이 숫자를 그대로 회귀모형에 넣으면 “오프라인은 온라인보다 한 단위 더 크다”는 엉뚱한 관계를 추정하게 됩니다. 순서형도 마찬가지로, 불만족–보통–만족 사이의 간격이 같다는 보장이 없습니다. 따라서 범주형 변수는 분석 목적과 변수의 특성에 맞는 방식으로 모형에 포함해야 합니다.

회귀분석은 숫자 형태의 설명변수를 사용하므로 범주형 변수를 일반적으로 0과 1로 표현하는 더미변수(Dummy Variable)로 변환합니다. 예를 들어 교육 방식을 온라인은 1, 오프라인은 0으로 코딩하면 오프라인이 기준집단(Reference Group)이 됩니다. 회귀모형은 Ŷ = b₀ + b₁D로 표현되며, D는 온라인 더미변수입니다.

• b₀: 오프라인 집단의 예측 평균
• b₁: 온라인 집단과 오프라인 집단의 예측 평균 차이
• b₀ + b₁: 온라인 집단의 예측 평균

온라인 집단과 오프라인 집단의 시험 점수를 분석해 Ŷ = 70 + 6D를 얻었다고 가정해 보겠습니다.

그림 2처럼 b₀ = 70은 오프라인 집단의 평균선이고, b₁ = 6은 두 평균선 사이의 거리입니다. 즉 더미변수 하나짜리 회귀는 두 집단의 평균을 비교하는 것과 같으며, 이 계수의 t검정은 독립표본 t검정과 같은 결과를 줍니다. 이 모형에서는 온라인 집단의 예측 점수가 오프라인 집단보다 6점 높습니다.

다만 이것만으로 온라인 교육이 점수를 6점 높였다고 단정할 수는 없습니다. 교육 방식이 무작위로 배정되지 않았다면 기존 학업 수준이나 학습 환경 같은 다른 요인이 차이에 영향을 주었을 수 있습니다.

범주가 세 개 이상인 변수도 더미변수로 표현할 수 있습니다. 일반적으로 범주가 k개라면 기준집단을 제외하고 k − 1개의 더미변수를 만듭니다. 예를 들어 제품 유형이 A, B, C 세 가지라면 A를 기준집단으로 정할 수 있습니다.

회귀모형은 Ŷ = b₀ + b₁D_B + b₂D_C입니다. b₀은 A형의 예측 평균, b₁은 B형과 A형의 차이, b₂는 C형과 A형의 차이입니다.

가령 b₀ = 50, b₁ = 8, b₂ = −3이라면 A형의 예측값은 50, B형은 58, C형은 47입니다. 여기서 계수는 모두 기준집단 A와의 차이를 나타냅니다. 그림 3처럼 B형과 C형의 차이(11)는 어느 계수에도 직접 나타나지 않으므로, 이를 직접 검정하려면 별도의 대비(contrast)나 선형가설 검정을 사용하거나 기준집단을 바꿔 다시 추정할 수 있습니다.

왜 더미변수를 k개 모두 넣지 않을까? 절편이 포함된 회귀모형에 세 범주를 나타내는 더미변수 세 개를 모두 넣으면 각 관측치의 더미변수 합이 항상 1이 됩니다. 이 때문에 절편과 더미변수 사이에 완전한 선형 종속성, 즉 완전 다중공선성이 발생합니다(07장 2절). 따라서 일반적인 기준집단 코딩에서는 더미변수 k − 1개를 사용합니다. 다만 절편을 제외하는 등 다른 코딩 방식을 사용할 수도 있습니다.

상호작용(Interaction Effect)은 한 설명변수가 종속변수에 미치는 관계가 다른 설명변수의 값에 따라 달라지는 현상입니다. 맨 위 그림의 두 식물처럼, 같은 양의 물을 줘도 흙에 따라 자라는 속도가 다르다면 물의 효과는 흙과 상호작용하는 것입니다.

예를 들어 공부 시간이 성적에 미치는 영향이 온라인 교육과 오프라인 교육에서 서로 다를 수 있습니다.

• 오프라인 교육에서는 공부 시간이 1시간 늘어날 때 성적이 4점 증가합니다.
• 온라인 교육에서는 공부 시간이 1시간 늘어날 때 성적이 7점 증가합니다.

두 교육 방식에서 공부 시간의 효과가 같지 않으므로 상호작용 가능성을 살펴볼 수 있습니다. 상호작용이 없다면 두 집단의 회귀선은 높이만 다르고 기울기는 같은 평행선입니다. 상호작용이 있다면 기울기가 달라져, 공부 시간이 늘수록 두 선 사이의 간격이 벌어지거나 좁혀집니다. 분산분석 3장 이원분산분석의 상호작용과 같은 개념을 연속형 변수로 넓힌 것입니다.

공부 시간 X와 교육 방식 더미변수 D를 사용해 보겠습니다. 상호작용항은 두 변수를 곱한 X × D입니다.

여기서 중요한 것은 b₂가 언제나 두 집단의 전체적인 차이를 나타내는 것은 아니라는 점입니다. b₂는 공부 시간이 0일 때의 차이입니다.

다음과 같은 회귀식이 나왔다고 가정하겠습니다. D = 1은 온라인, D = 0은 오프라인입니다.

공부 시간이 1시간 늘어날 때 예측 점수는 오프라인에서 4점, 온라인에서 7점 증가합니다. 그래서 그림 4처럼 두 선 사이의 차이가 0시간에 3점, 2시간에 9점, 4시간에 15점으로 1시간마다 3점씩 벌어집니다. 따라서 상호작용 계수 b₃ = 3은 온라인 교육에서 공부 시간의 기울기가 오프라인보다 3점 더 크다는 의미입니다.

단, 이 계수가 통계적으로 유의한지, 실제로 교육 방식에 따른 효과 차이가 있다고 볼 만한지는 표준오차와 신뢰구간, p값 등을 확인해야 합니다.

보고서에는 다음과 같이 작성할 수 있습니다.

상호작용항의 회귀계수 b₃에 대한 검정은 다음 가설을 확인합니다.

상호작용항의 p값이 유의수준보다 작다면 두 집단의 기울기가 다르다는 통계적 근거가 있다고 볼 수 있습니다.

하지만 상호작용항이 유의하지 않다고 해서 두 집단의 모든 차이가 없다는 뜻은 아닙니다. 절편의 차이는 존재할 수 있으며, 표본 크기가 작거나 추정이 불확실하면 실제 차이가 있어도 유의하지 않을 수 있습니다. 상호작용항은 두 기울기의 “차이”를 추정하므로, 같은 표본에서도 주효과보다 표준오차가 큰 경우가 많습니다.

또한 상호작용을 검토할 때는 일반적으로 관련된 주효과(X와 D)를 모형에 함께 포함합니다. 상호작용항만 넣고 주효과를 제외하면 두 선이 같은 절편에서 출발해야 한다는 제약이 생겨 해석이 왜곡될 수 있습니다.

상호작용은 범주형 변수와 연속형 변수 사이에서만 나타나는 것이 아닙니다. 연속형 변수 두 개 사이에서도 검토할 수 있습니다. 예를 들어 광고비 X₁과 제품 가격 X₂가 매출에 미치는 관계를 생각해 보겠습니다.

상호작용항이 존재하면 광고비의 기울기는 가격 수준에 따라 달라집니다.

그림 5는 b₁ = 6.2, b₃ = −0.15라고 가정한 예입니다. 가격이 1만 5천 원이면 광고비의 기울기는 6.2 − 0.15 × 15 = 3.95, 2만 원이면 3.2(04장의 값), 2만 5천 원이면 2.45입니다. 가격이 비쌀수록 광고의 효과가 작아지는 관계입니다. 범주형 상호작용에서는 기울기가 두 개였다면, 연속형 상호작용에서는 가격에 따라 기울기가 연속적으로 바뀝니다.

이러한 분석은 마케팅, 소비자 행동, 교육, 심리학 등에서 자주 활용됩니다. 예를 들어 광고 효과가 제품 가격대에 따라 달라지는지, 학습 방법의 관계가 학습자의 사전 지식 수준에 따라 달라지는지 등을 살펴볼 수 있습니다. 매개·조절 효과는 효과 분석 가이드에서도 다룹니다.

세 번째 주의사항을 예제로 보면 그림 6과 같습니다. b₂ = 3은 공부 시간이 0시간일 때의 차이인데, 0시간 공부한 학생은 실제 데이터에 거의 없습니다. 공부 시간의 평균이 3시간이라면 그 지점의 차이는 53 + 21 − (50 + 12) = 12점입니다. 연속형 변수의 0이 현실적으로 의미가 없거나 관측 범위에서 멀리 떨어져 있다면, 평균 중심화(X − 평균)를 통해 기준점을 평균으로 옮길 수 있습니다. 그러면 b₂가 “평균 공부 시간에서의 두 집단 차이”가 되어 주효과와 절편의 해석이 더 편리해집니다(08장 7절).

• 범주형 설명변수는 일반적으로 더미변수로 변환해 회귀모형에 포함합니다.
• k개 범주를 기준집단 코딩으로 표현할 때는 보통 k − 1개의 더미변수를 사용합니다.
• 상호작용은 한 변수와 종속변수 사이의 관계가 다른 변수의 수준에 따라 달라지는 현상입니다.
• 상호작용항의 계수는 기울기 또는 효과의 차이를 나타내며, 주효과의 계수와 함께 해석해야 합니다.
• 통계적 유의성뿐 아니라 효과의 크기, 신뢰구간, 연구 맥락도 함께 확인해야 합니다.

다음은 10 규제회귀입니다. 설명변수가 많거나 서로 높은 상관관계를 보일 때 회귀모형을 안정화하는 방법, Ridge와 Lasso가 회귀계수를 어떻게 조정하고 예측 성능과 변수 선택에 어떤 차이를 만드는지 살펴봅니다.