이항 로지스틱 회귀
두 범주로 나뉘는 결과의 발생 확률을 여러 설명변수로 분석
이항 로지스틱 회귀(Binary Logistic Regression)는 결과변수가 두 가지 범주로 나뉘는 경우, 하나 이상의 설명변수를 이용해 특정 결과가 발생할 확률을 분석하는 통계 방법입니다. 예를 들어 고객이 제품을 구매했는지, 환자가 치료에 반응했는지, 학생이 프로그램을 수료했는지처럼 결과가 두 범주로 구분될 때 사용할 수 있습니다. 앞서 배운 교차분석과 오즈비는 두 집단의 차이나 연관성을 파악하는 데 유용합니다. 하지만 구매 여부가 광고 노출뿐 아니라 가격, 연령, 소득 등 여러 요인과 관련되어 있다면, 이항 로지스틱 회귀를 통해 여러 설명변수를 동시에 고려할 수 있습니다.
왜 일반적인 선형회귀가 아닌 로지스틱 회귀를 사용할까?
선형회귀는 결과변수가 수치형일 때 평균적인 변화를 설명하는 데 주로 사용합니다. 반면 구매 여부처럼 결과가 0 또는 1로 기록되는 자료에서는 예측값을 확률로 해석할 수 있도록 하는 모형이 필요합니다. 예를 들어 다음과 같이 구매 여부를 기록할 수 있습니다.
| 고객 | 광고 노출 | 구매 여부 |
|---|---|---|
| A | 예 | 1 |
| B | 아니요 | 0 |
| C | 예 | 1 |
| D | 아니요 | 0 |
| E | 예 | 0 |
구매 여부는 구매했으면 1, 구매하지 않았으면 0으로 코딩했습니다. 이 숫자는 범주를 표시하기 위한 코드이며, 구매 여부의 평균적인 차이를 선형회귀로 분석하는 것과는 다릅니다.
그림 1처럼 0과 1로 된 자료에 직선을 맞추면, 점수가 높은 쪽에서는 예측값이 1보다 커지고 낮은 쪽에서는 0보다 작아집니다. 확률이 113%이거나 −14%일 수는 없으므로 일반적인 선형회귀는 확률 예측에 적합하지 않습니다. 로지스틱 회귀는 S자 곡선을 사용해 예측 확률이 항상 0과 1 사이에 있도록 모형을 구성합니다.
로지스틱 회귀의 기본 원리
이항 로지스틱 회귀는 설명변수와 결과 발생 확률 사이의 관계를 로짓(logit) 함수로 표현합니다.
그림 2에서 가로축 z = β0 + β1x가 0이면 확률은 정확히 50%이고, z = −0.5이면 1 ÷ (1 + e0.5) ≈ 38%입니다. z가 커질수록 확률은 1에, 작아질수록 0에 가까워지지만 그 범위를 벗어나지 않습니다. 설명변수가 여러 개인 모형은 다음과 같이 표현합니다.
p: 관심 있는 결과가 발생할 확률 · p ÷ (1 − p): 결과 발생 오즈 · β0: 절편 · β1, …, βk: 회귀계수 · X1, …, Xk: 설명변수
왼쪽의 로그 오즈를 로짓이라고 합니다. 설명변수의 선형결합을 로그 오즈와 연결하면, 이를 확률로 변환했을 때 예측값이 0과 1 사이에 놓입니다.
그림 3처럼 같은 상황을 세 척도로 나타낼 수 있습니다. 확률 75%는 오즈 3(75 : 25), 로그 오즈 +1.1이고, 확률 50%는 오즈 1, 로그 오즈 0입니다. 확률은 0~1, 오즈는 0~∞, 로그 오즈는 −∞~+∞ 범위라서, 로그 오즈는 직선식으로 표현하기에 알맞습니다. 따라서 로지스틱 회귀는 확률 자체가 설명변수에 따라 직선적으로 변한다고 가정하지 않습니다. 대신 로그 오즈가 설명변수의 선형결합으로 표현된다고 가정합니다.
실제 사례: 구매 여부와 관련된 요인 분석
한 기업이 고객 500명의 자료로 구매 여부(구매 = 1, 미구매 = 0)와 관련된 요인을 분석한다고 가정하겠습니다. 설명변수는 광고 노출 여부, 가격, 연령입니다. 이 분석에서는 광고 노출 여부만 보는 것이 아니라 가격과 연령을 함께 고려해 각 요인의 관계를 살펴봅니다. 다음은 해석 방법을 보여 주기 위한 가상 결과입니다.
| 설명변수 | 회귀계수 β | 오즈비 eβ | p값 |
|---|---|---|---|
| 광고 노출 (예 = 1) | 0.69 | 1.99 | 0.012 |
| 가격 (단위 증가) | −0.20 | 0.82 | 0.030 |
| 연령 (1세 증가) | 0.02 | 1.02 | 0.180 |
그림 4는 표의 계수와 p값으로 95% 신뢰구간을 계산해 함께 그린 것입니다. 광고 노출(1.16 ~ 3.42)과 가격(0.68 ~ 0.98)은 구간이 1을 포함하지 않고, 연령(0.99 ~ 1.05)은 1을 포함합니다.
e0.69 ≈ 1.99. 다른 설명변수를 동일하게 두었을 때 광고를 본 고객의 구매 오즈가 보지 않은 고객보다 약 1.99배 높습니다(p = 0.012). 구매 확률이 1.99배라는 뜻은 아닙니다.
e−0.20 ≈ 0.82. 가격이 한 단위 증가하면 구매 오즈가 약 18% 낮아집니다(p = 0.030). 한 단위가 1원인지 1,000원인지는 자료의 코딩에 따라 다르므로 단위를 밝혀야 합니다.
오즈비 약 1.02, p = 0.180. 한 살 증가할 때 구매 오즈가 약 2% 높아지는 추정치지만 5% 수준에서 유의하지 않습니다. 관계가 없다는 증명이 아니라, 뚜렷하게 확인할 근거가 부족하다는 뜻입니다.
고객 500명의 구매 여부를 광고 노출, 가격, 연령으로 이항 로지스틱 회귀분석한 결과, 다른 변수를 통제했을 때 광고에 노출된 고객의 구매 오즈는 노출되지 않은 고객의 1.99배였다(OR = 1.99, 95% CI [1.16, 3.42], p = .012). 가격이 한 단위 높아질 때 구매 오즈는 약 18% 낮아졌으며(OR = 0.82, 95% CI [0.68, 0.98], p = .030), 연령은 유의하지 않았다(OR = 1.02, p = .180).
회귀계수와 오즈비의 관계
로지스틱 회귀 결과에서는 회귀계수와 오즈비를 함께 살펴보는 것이 일반적입니다. 오즈비는 회귀계수를 지수화한 값입니다.
그림 5처럼 β = 0.69이면 오즈비는 약 1.99로 오즈가 약 두 배, β = 0이면 오즈비 1로 변화 없음, β = −0.20이면 약 0.82로 오즈가 약 18% 낮음, β = −0.69이면 약 0.50으로 오즈가 약 절반입니다. 회귀계수가 양수이면 설명변수가 증가할수록 결과 발생 오즈가 커지고, 음수이면 작아집니다. 단, 이 해석은 다른 설명변수를 고정했을 때의 관계이며, 변수의 코딩과 기준 범주에 따라 달라집니다.
예측 확률은 어떻게 계산할까?
로지스틱 회귀는 오즈비뿐 아니라 특정 조건에서의 예측 확률도 계산할 수 있습니다.
예를 들어 모형에서 계산한 로그 오즈가 0이라면 오즈는 e0 = 1이고, 이에 대응하는 확률은 50%입니다. 로그 오즈가 양수이면 확률은 50%보다 커지고, 음수이면 50%보다 작아집니다.
원고 표에는 절편이 없어 절편을 0.5로 가정하고 계산해 보겠습니다. 연령 40세, 가격 5인 고객이 광고를 보지 않았다면 로그 오즈는 0.5 − 0.20 × 5 = −0.5로 예측 확률 약 38%, 광고를 봤다면 −0.5 + 0.69 = 0.19로 약 55%입니다. 그림 6처럼 같은 광고 노출이라도 가격이나 연령 등 다른 조건이 달라지면 예측 확률이 달라집니다. 다만 예측 확률이 높다는 것과 실제 구매가 반드시 발생한다는 것은 다릅니다. 확률 예측의 품질은 별도로 평가해야 합니다.
모형의 성능과 적합도 확인
회귀계수의 p값만으로 모형이 좋은지 판단할 수는 없습니다. 이항 로지스틱 회귀에서는 다음 항목을 함께 확인합니다.
설명변수를 포함한 모형이 기준 모형보다 자료를 더 잘 설명하는지 평가합니다.
기준 모형과 비교해 적합도가 얼마나 개선되었는지 요약합니다. 일반 선형회귀의 R²와 같은 의미는 아닙니다.
예측 확률에 기준값을 적용해 분류할 경우 정확도, 민감도, 특이도 등을 확인합니다.
여러 분류 기준에서 양성과 음성을 구분하는 성능을 평가합니다.
예측 확률이 실제 관찰된 발생 비율과 얼마나 일치하는지 확인합니다.
그림 7은 원고 계수와 같은 구조로 만든 모의 고객 500명에 모형을 적합한 결과입니다. 왼쪽 ROC 곡선의 AUC는 0.68로, 무작위로 고른 구매자와 미구매자 한 쌍에서 구매자의 예측 확률이 더 높을 확률이 약 68%라는 뜻입니다. 오른쪽 보정 그림에서는 예측 확률을 다섯 구간으로 나눈 평균과 실제 구매 비율이 대각선 가까이 놓여, 예측 확률이 실제 비율과 대체로 맞습니다. 분류 성능 지표의 자세한 계산은 「분류·예측 가이드」에서 다룹니다. 또한 연속형 설명변수와 로그 오즈 사이의 관계가 적절한지, 설명변수 간 다중공선성이 심하지 않은지, 완전분리나 준완전분리가 발생하지 않았는지도 점검해야 합니다.
이항 로지스틱 회귀를 사용할 때 주의할 점
세 범주 이상이라면 다항 또는 순서형 로지스틱 회귀 등 다른 방법을 검토합니다(07 · 08장).
구매를 1로 둘지 미구매를 1로 둘지에 따라 계수의 부호와 해석이 바뀔 수 있습니다.
두 지표는 서로 다른 개념입니다(05장).
여러 설명변수를 통제하더라도 관찰자료만으로 인과성이 보장되지는 않습니다.
표본이 부족하거나 특정 결과가 극히 드물면 계수 추정이 불안정할 수 있습니다.
여러 설명변수로 두 범주 결과의 확률과 오즈를 추정합니다.
이항 로지스틱 회귀는 구매 여부처럼 두 범주로 구분되는 결과변수를 분석하고, 여러 설명변수를 동시에 고려해 결과 발생 확률과 오즈의 관계를 추정하는 방법입니다.
- 결과변수: 두 범주로 구성됩니다.
- 회귀계수: 설명변수가 로그 오즈와 맺는 관계를 나타냅니다.
- 오즈비: 회귀계수를 지수화한 값으로, 다른 조건이 같을 때 오즈가 얼마나 변하는지 보여 줍니다.
- 예측 확률: 주어진 설명변수 값에서 결과가 발생할 것으로 예측되는 확률입니다.
- 모형 진단: 계수의 유의성뿐 아니라 적합도, 분류 성능, 보정 및 가정을 함께 확인해야 합니다.
다음은 07 다항 로지스틱 회귀입니다. 결과변수가 구매 브랜드처럼 세 개 이상의 순서가 없는 범주로 구성된 경우를 다룹니다.
이항 로지스틱 회귀는 로그 오즈를 설명변수의 선형결합으로 두고, 이를 S자 곡선으로 0~1 확률로 바꿉니다. 계수를 지수화한 eβ가 다른 조건이 같을 때의 오즈비이며, 확률의 배수가 아닙니다. 계수의 유의성과 함께 신뢰구간, 예측 확률, AUC와 보정으로 모형을 평가합니다.