영과잉 포아송(ZIP)과 영과잉 음이항(ZINB) 회귀

모바일 게임 이용자의 유료 아이템 구매 횟수를 분석한다고 가정해 보겠습니다. 어떤 이용자는 한 달 동안 유료 아이템을 여러 번 구매하지만, 상당수 이용자는 한 번도 구매하지 않습니다.

그런데 구매 횟수가 0회인 이용자들이 모두 같은 이유로 구매하지 않은 것은 아닐 수 있습니다. 일부는 유료 아이템을 구매할 의사가 거의 없고, 다른 일부는 평소에는 구매하지만 이번 달에는 필요한 아이템이 없어 구매하지 않았을 수 있습니다.

이처럼 0이라는 결과가 서로 다른 과정에서 발생할 가능성이 있을 때 고려할 수 있는 방법이 영과잉 회귀모형(Zero-Inflated Regression Model)입니다.

대표적으로 영과잉 포아송 회귀(Zero-Inflated Poisson, ZIP)와 영과잉 음이항 회귀(Zero-Inflated Negative Binomial, ZINB)가 있습니다.

두 모형은 모두 0이 발생하는 별도의 상태와 일반적인 카운트 분포에서 사건 횟수가 결정되는 상태를 결합합니다. 차이는 카운트 부분에서 포아송 분포를 사용하는지, 음이항 분포를 사용하는지에 있습니다.

이번 글에서는 ZIP과 ZINB의 기본 원리, 실제 분석 사례, 두 부분으로 구성된 회귀모형, 계수와 예측값 해석, 모형 선택 및 진단 방법까지 살펴보겠습니다.

예를 들어 게임 이용자의 월간 구매 횟수를 포아송 회귀로 분석했더니 모형에서는 구매 횟수가 0회인 이용자를 전체의 35%로 예측했지만 실제 자료에서는 65%가 구매하지 않았다고 가정해 보겠습니다.

이 경우 일반적인 포아송 모형이 0의 발생 빈도를 충분히 설명하지 못할 가능성이 있습니다. 영과잉 모형은 이러한 상황을 설명하기 위해 관측값이 두 가지 잠재 상태에서 발생한다고 가정합니다.

첫 번째는 반드시 0이 발생하는 상태입니다. 두 번째는 일반적인 카운트 분포에 따라 0회 또는 1회 이상의 사건이 발생하는 상태입니다. 중요한 점은 두 번째 상태에서도 0회가 나타날 수 있다는 것입니다. 따라서 영과잉 모형에서는 모든 0을 반드시 구매하지 않는 이용자의 결과로 분류하지 않습니다.

다만 0의 비율이 높다는 사실만으로 영과잉 모형이 필요하다고 결론 내려서는 안 됩니다. 일반적인 포아송이나 음이항 분포에서도 0은 자연스럽게 발생할 수 있기 때문입니다.

일부 이용자는 게임을 무료로만 즐기며 유료 아이템을 구매할 의사가 거의 없을 수 있습니다. 반면 다른 이용자는 구매할 가능성이 있지만 해당 월에 원하는 아이템이 없거나 구매할 기회가 없어 0회를 기록할 수 있습니다. 영과잉 모형에서는 이를 다음과 같은 두 잠재 상태로 표현합니다.

예를 들어 한 이용자가 0회를 기록했다고 해도 그 사람이 구조적 0 상태에 속하는지, 카운트 상태에서 우연히 0회를 기록했는지 관측값만으로 정확하게 알 수는 없습니다. 모형은 각 상태의 발생 확률과 카운트 분포를 추정하여 이러한 불확실성을 반영합니다.

따라서 영과잉 모형의 구조적 0 상태를 실제로 확인된 '절대 구매하지 않는 이용자'라고 단정해서는 안 됩니다. 이는 분석을 위해 설정한 잠재적인 확률 상태입니다.

첫 번째 부분에서는 구조적 0 상태에 속할 확률을 추정합니다. 두 번째 부분에서는 카운트 상태에 속한 이용자의 구매 횟수 분포를 추정합니다. 두 모형의 차이는 두 번째 부분에서 사용되는 확률분포입니다.

ZIP은 카운트 부분에서 평균과 분산이 같은 포아송 분포를 사용합니다. 반면 ZINB는 음이항 분포를 사용하므로 카운트 상태에서도 평균보다 큰 분산을 허용합니다. 따라서 데이터에 구조적 0과 과산포가 동시에 존재한다면 ZINB를 고려할 수 있습니다.

하지만 ZINB가 ZIP보다 항상 우수한 것은 아닙니다. 데이터가 상대적으로 단순한 구조를 가진다면 추가 모수가 있는 ZINB를 사용할 필요가 없을 수도 있습니다.

운영사는 무료 이용자와 유료 이용자의 행동 차이를 파악하고, 플레이시간과 이벤트 참여 여부가 유료 아이템 구매 횟수와 어떤 관계가 있는지 알아보려고 합니다.

분석 데이터

월간 구매 횟수의 분포는 다음과 같다고 가정하겠습니다.

구매 횟수 분포

전체 이용자의 65%가 한 달 동안 유료 아이템을 구매하지 않았습니다. 반면 일부 이용자는 여러 차례 구매한 것으로 나타났습니다. 연구 질문은 다음과 같습니다.

이 자료에서는 구매가 발생하지 않는 잠재 상태와 카운트 상태가 서로 다른 과정에서 결정될 가능성이 있다고 가정하겠습니다. 다만 실제 분석에서는 일반적인 포아송 및 음이항 회귀로도 이러한 분포를 충분히 설명할 수 있는지 먼저 확인해야 합니다.

구조적 0 상태에 속할 확률을 π_i, 카운트 상태에서의 평균 구매 횟수를 μ_i라고 하겠습니다. 그러면 전체 관측값의 분포는 다음과 같이 표현할 수 있습니다.

여기서 f(y; μ_i)는 카운트 부분의 확률질량함수입니다. ZIP에서는 포아송 분포를 사용하므로 P(Y_i = 0) = π_i + (1 − π_i)·e^−μ_i가 됩니다.

반면 ZINB에서는 포아송 분포 대신 음이항 분포의 0 발생 확률을 사용합니다. 두 모형 모두 전체 예상 구매 횟수는 다음과 같이 계산할 수 있습니다.

이 식은 구조적 0 상태에 속할 확률이 높아질수록 전체 예상 구매 횟수가 낮아지고, 카운트 상태의 평균 구매 횟수가 높아질수록 전체 예상 구매 횟수가 증가한다는 점을 보여줍니다.

구조적 0 부분

구조적 0 상태에 속할 확률은 로지스틱 모형으로 표현할 수 있습니다.

이 부분에서는 플레이시간이나 이벤트 참여 여부 등이 구조적 0 상태에 속할 가능성과 어떤 관계가 있는지 분석합니다.

카운트 부분

카운트 상태에서의 평균 구매 횟수는 로그 연결함수를 사용해 표현할 수 있습니다.

이 부분에서는 구조적 0 상태가 아닌 이용자의 예상 구매 횟수가 설명변수에 따라 어떻게 달라지는지 분석합니다. 예를 들어 플레이시간이 길수록 구조적 0 상태에 속할 확률이 낮아지고, 카운트 상태에서의 예상 구매 횟수는 높아질 수 있습니다.

하지만 두 부분에 반드시 같은 설명변수를 넣어야 하는 것은 아닙니다. 연구 목적과 데이터 생성 과정을 고려하여 서로 다른 설명변수를 설정할 수도 있습니다.

ZIP 결과표에서는 구조적 0 부분과 카운트 부분의 계수가 구분되어 제시됩니다.

구조적 0 부분

카운트 부분

구조적 0 부분에서 플레이시간의 계수는 -0.40으로 나타났습니다. 오즈비는 e^−0.40 ≈ 0.670입니다. 이는 다른 조건이 같을 때 주간 플레이시간이 5시간 길수록 구조적 0 상태에 속할 오즈가 약 33.0% 낮은 방향의 관계를 보였다는 의미입니다.

이벤트 참여의 오즈비는 약 0.522로 나타났습니다. 따라서 이벤트 참여 이용자는 비참여 이용자보다 구조적 0 상태에 속할 오즈가 약 47.8% 낮은 방향의 관계를 보였습니다.

카운트 부분에서 플레이시간의 계수는 0.25로, 발생률비는 e^0.25 ≈ 1.284입니다. 이는 카운트 상태에서 주간 플레이시간이 5시간 길수록 예상 구매 횟수가 약 28.4% 높은 방향의 관계를 보였다는 의미입니다.

이벤트 참여의 IRR은 1.419로, 카운트 상태에서 예상 구매 횟수가 약 41.9% 높은 방향의 관계를 나타냈습니다. 이처럼 ZIP 회귀에서는 같은 설명변수라도 구조적 0 부분과 카운트 부분에서 서로 다른 관계가 나타날 수 있습니다.

이 경우 ZIP 대신 ZINB를 적용할 수 있습니다. ZINB도 구조적 0 부분과 카운트 부분을 구분하여 결과를 제시합니다. 따라서 구조적 0 부분의 오즈비와 카운트 부분의 발생률비를 해석하는 기본적인 방식은 ZIP과 같습니다. 다만 ZINB에서는 카운트 부분의 과산포를 설명하는 모수를 추가로 추정합니다.

ZINB 분석 결과 예시

플레이시간의 구조적 0 부분 OR이 0.72라면 플레이시간이 5시간 길수록 구조적 0 상태에 속할 오즈가 약 28% 낮은 방향의 관계를 보였다는 의미입니다. 카운트 부분 IRR이 1.22라면 카운트 상태에서 플레이시간이 5시간 길수록 예상 구매 횟수가 약 22% 높은 방향의 관계를 나타냅니다.

과산포 모수 α는 카운트 부분에서 평균보다 큰 분산이 허용되는 정도를 설명합니다. 이 값의 해석은 사용하는 음이항 모형의 분산 함수에 따라 달라질 수 있습니다.

다만 과산포 모수가 양수라는 사실만으로 ZINB가 ZIP보다 반드시 더 적절하다고 단정할 수는 없습니다. 두 모형의 적합도와 예측 성능, 모형의 안정성을 함께 검토해야 합니다.

예를 들어 특정 이용자에 대해 다음과 같은 예측 결과가 나왔다고 가정하겠습니다.

전체 예상 구매 횟수는 (1 − 0.60) × 3.0 = 1.2회로 계산합니다. 여기서 1.2회는 실제로 소수점 구매가 발생한다는 의미가 아니라 동일한 조건을 가진 이용자들의 기대 구매 횟수를 나타냅니다.

또한 전체 예상 구매 횟수가 같더라도 구조적 0 확률과 카운트 부분의 평균이 서로 다를 수 있습니다. 따라서 연구 목적에 따라 두 부분의 예측값을 함께 확인하는 것이 좋습니다.

실제로 0이 많더라도 음이항 회귀만으로 충분히 설명할 수 있는 경우가 있기 때문입니다. 모형을 선택할 때는 다음과 같은 항목을 비교할 수 있습니다.

예를 들어 ZIP보다 ZINB의 AIC가 낮고 양수 구매 횟수의 분포도 더 잘 설명한다면 ZINB가 적절할 가능성이 있습니다. 하지만 정보기준만으로 최종 결론을 내리기보다는 두 부분의 모형이 실제 구매 행동과 잘 맞는지 검토하는 것이 중요합니다.

또한 영과잉 모형은 구조가 복잡하므로 일부 계수가 매우 크게 추정되거나 수렴 문제가 발생할 수 있습니다. 이러한 경우에는 모형 설정을 다시 검토해야 합니다.

두 방법은 모두 0과 양수 카운트를 구분하지만, 데이터가 발생하는 구조에 차이가 있습니다. 영과잉 모형에서는 구조적 0 상태와 일반적인 카운트 상태를 가정합니다. 이때 카운트 상태에서도 0이 발생할 수 있습니다.

반면 허들모형에서는 먼저 사건이 한 번이라도 발생했는지 결정하고, 양수인 경우에만 0을 제외한 절단 카운트 분포로 횟수를 분석합니다.

예를 들어 모바일 게임에서 먼저 유료 구매를 할지 결정하고, 구매하기로 한 이용자만 구매 횟수를 결정하는 구조라면 허들모형이 자연스러울 수 있습니다. 반면 구매가 발생하지 않는 잠재 상태와 구매 가능 상태가 혼합되어 있다고 보는 것이 적절하다면 영과잉 모형을 고려할 수 있습니다.

다만 두 모형은 관측된 분포를 비슷하게 설명할 수 있으므로 실제 데이터의 생성 과정과 분석 목적을 함께 고려해야 합니다.

포아송이나 음이항 분포에서도 0은 자연스럽게 발생할 수 있습니다. 따라서 기존 카운트 모형이 실제 0의 비율을 충분히 설명하는지 먼저 확인해야 합니다.

구조적 0 상태를 실제로 확인된 이용자 유형으로 단정해서는 안 됩니다.

영과잉 모형의 두 상태는 통계적으로 가정한 잠재 상태입니다. 특정 이용자가 절대 구매하지 않는 사람인지 관측된 0만으로 확정할 수 없습니다.

두 부분의 계수를 구분해야 합니다.

구조적 0 부분은 로지스틱 회귀계수로, 카운트 부분은 로그 연결함수를 사용하는 회귀계수로 해석합니다. 따라서 각각 오즈비와 발생률비를 계산하여 설명하는 것이 좋습니다.

전체 평균에 대한 효과와 카운트 부분의 효과를 혼동하지 않아야 합니다.

카운트 부분의 IRR은 카운트 상태의 평균에 대한 상대적 변화입니다. 전체 이용자의 예상 구매 횟수에 대한 효과는 구조적 0 확률 변화까지 고려해야 합니다.

과산포와 모형 적합도를 함께 확인해야 합니다.

ZIP은 카운트 부분에서 포아송 분포를 사용하므로 과산포가 크다면 ZINB 등을 검토해야 할 수 있습니다. 다만 ZINB가 항상 더 적절한 것은 아닙니다.

관찰된 관계를 인과효과로 단정하지 않아야 합니다.

이벤트 참여 이용자의 구매 횟수가 높다고 해서 이벤트 참여 자체가 구매를 증가시켰다고 결론 낼 수는 없습니다. 구매 성향이 높은 이용자가 이벤트에 더 많이 참여했을 가능성도 있기 때문입니다.

또한 ZIP과 ZINB를 비교했다면 과산포와 모형 적합도에 관한 정보를 함께 보고해야 합니다.

실제 연구에서는 각 계수의 95% 신뢰구간과 p값, 과산포 모수, 모형 적합도 및 수렴 여부 등을 함께 제시해야 합니다. 또한 모형이 예측한 0의 비율과 실제 관측된 0의 비율을 비교하면 영과잉 모형의 적합성을 평가하는 데 도움이 됩니다.

두 모형은 구조적 0 상태에 속할 확률과 일반적인 카운트 상태의 발생 횟수를 결합합니다. 이때 카운트 상태에서도 0이 발생할 수 있다는 점이 중요한 특징입니다. ZIP은 카운트 부분에 포아송 분포를 사용하고, ZINB는 음이항 분포를 사용하여 과산포를 허용합니다.

분석 결과는 구조적 0 부분의 오즈비와 카운트 부분의 발생률비로 구분하여 해석할 수 있습니다. 하지만 전체 예상 구매 횟수에 대한 효과를 이해하려면 두 부분을 함께 고려해야 합니다.

또한 0이 많다는 이유만으로 영과잉 모형을 사용하는 것은 적절하지 않습니다. 포아송과 음이항 회귀, 허들모형 등 대안적인 모형과 비교하고 실제 데이터의 생성 과정에 맞는 방법을 선택해야 합니다.