카운트 데이터 회귀

고객 문의건수는 음수가 될 수 없고 오른쪽으로 치우치며 0이 많습니다. 평균이 큰 고객일수록 분산도 커지는 경향이 있어 상수분산 정규오차가 맞지 않습니다.

카운트 회귀는 발생건수의 분포와 log 링크를 사용해 기대건수를 양수로 유지하고, 관찰기간이 다른 경우 노출량까지 반영합니다.

Y|X~Poisson(μ), log(μ)=Xβ로 구성됩니다. 역링크 μ=e^(Xβ)는 어떤 X에서도 양의 기대건수를 만듭니다.

e^β는 다른 변수가 같을 때 X 1단위 증가에 따른 기대건수비 또는 노출량을 반영한 발생률비입니다.

1개월 관찰한 고객과 12개월 관찰한 고객의 사고건수를 그대로 비교하면 공정하지 않습니다. log(노출량)을 계수 1로 고정한 offset으로 넣어 단위 노출당 발생률을 모델링합니다.

고객 간 숨은 이질성, 군집, 사건의 몰림 때문에 Var(Y|X)>μ가 흔합니다. 포아송 계수는 평균식이 맞으면 유지될 수 있지만 SE가 지나치게 작아집니다.

음이항은 보통 Var(Y|X)=μ+αμ²로 포아송보다 큰 분산을 허용합니다. α가 0에 가까우면 포아송에 가까워집니다.

과산포만으로 0이 많아 보일 수 있어 무조건 zero-inflated를 쓰지 않습니다. 구조적으로 사건이 불가능한 집단과 가능한 집단이 섞였다는 이론이 있어야 합니다.

단위와 관찰기간을 정하고 히스토그램·0 비율·평균·분산을 봅니다. 포아송을 기준으로 적합한 뒤 과산포와 잔차를 확인해 NB 또는 0모형으로 확장합니다.

고객 3,000명의 연간 문의건수를 분석했습니다. 평균 2.1, 분산 8.7로 과산포가 컸고 가입개월을 offset으로 사용했습니다.

건수를 연속형처럼 OLS로 분석하거나 관찰기간을 일반 변수로 넣으면 해석이 잘못될 수 있습니다. 반복 사건의 개인 내 상관도 별도 고려합니다.

β와 노출량을 바꿔보세요. 같은 발생률에서도 관찰기간이 두 배면 기대건수도 두 배가 됩니다.

요약은 아래 핵심 정리에서 확인합니다.

• •
  포아송 회귀는 log 기대건수를 선형예측자로 모델링한다.
• •
  e^β는 기대건수비 또는 발생률비 IRR이다.
• •
  관찰기회가 다르면 log 노출량을 offset으로 사용한다.
• •
  과산포는 포아송 SE를 과소평가할 수 있어 NB 등을 검토한다.
• •
  0이 많다는 이유만으로 zero-inflated 모형을 선택하지 않는다.
• •
  IRR·예측건수·노출당 발생률과 잔차를 함께 보고한다.