범주형 분석의 진단과 해석

범주형자료 분석에는 교차분석, 카이제곱 검정, 로지스틱 회귀, 로그선형모형, 대응분석 등 다양한 방법이 있습니다. 하지만 분석 방법을 선택하고 결과표를 얻었다고 해서 분석이 끝나는 것은 아닙니다. 예를 들어 로지스틱 회귀에서 특정 변수가 통계적으로 유의하다는 결과가 나왔다고 가정해 보겠습니다. 이 결과만으로 그 변수가 실제로 중요한지, 모형이 자료에 적절한지, 결과를 다른 상황에도 적용할 수 있는지까지 알 수는 없습니다. 이 장에서는 지금까지 배운 범주형자료 분석을 실제 연구에 적용할 때 필요한 진단과 해석 원칙을 정리합니다.

범주형자료 분석에서는 다음 세 가지를 함께 확인해야 합니다.

분석 방법을 선택하기 전에 결과변수의 범주 수와 순서, 표본의 독립성, 반복 측정 여부를 확인해야 합니다.

이 가이드는 출발점입니다. 실제 분석에서는 표본 설계, 자료의 희소성, 연구 목적과 모형의 가정을 추가로 확인해야 합니다.

카이제곱 검정은 관측빈도와 독립이라는 가정 아래 계산한 기대빈도의 차이를 바탕으로 검정합니다. 따라서 표본이 작거나 일부 셀의 기대빈도가 매우 낮으면 카이제곱 근사가 부정확할 수 있습니다. 예를 들어 2 × 2 분할표에서 두 집단의 구매 여부를 비교한다고 생각해 보겠습니다.

그림 2처럼 집단 A의 구매자가 3명뿐이어도, 판단 기준이 되는 기대빈도는 모든 칸에서 5.5 이상입니다. 관찰빈도가 작은 것과 기대빈도가 작은 것은 다르다는 점을 보여 주는 예입니다. 이 표의 카이제곱 검정(보정 없음)은 p = 0.077, Fisher의 정확검정은 p = 0.155로, 두 방법 모두 유의수준 0.05에서는 차이가 유의하지 않다는 같은 결론입니다. 기대빈도가 실제로 5보다 작은 칸이 있다면 Fisher의 정확검정(04장)이 적절한 대안이 될 수 있습니다.

다만 기대빈도 기준을 기계적으로 적용하는 것만으로 검정 방법을 결정해서는 안 됩니다. 분할표의 크기, 표본 설계, 희소한 셀의 분포와 분석 목적을 함께 고려해야 합니다. 또한 정확검정이라고 해서 자료 수집이나 표본 추출 과정의 문제까지 해결되는 것은 아닙니다. 검정 방법은 표본 설계와 자료의 품질을 대신할 수 없습니다.

로지스틱 회귀에서는 계수의 p값뿐 아니라 모형 전체가 자료에 얼마나 적합한지 확인해야 합니다.

이항 로지스틱 회귀에서는 ROC 곡선과 AUC, 혼동행렬, 민감도와 특이도 등을 활용할 수 있습니다. 다만 AUC가 높다고 해서 예측확률까지 정확하다는 뜻은 아닙니다. 그림 3의 두 모형은 고객을 줄 세우는 순서가 같아 AUC가 0.77로 똑같지만, 왼쪽 모형은 예측 확률이 실제 구매 비율과 대각선 위에서 맞고, 오른쪽 모형은 실제 비율과 크게 어긋납니다. 예측확률의 신뢰도를 평가하려면 보정(calibration)도 살펴봐야 합니다. 다항 로지스틱 회귀에서는 범주별 성능과 혼동행렬을, 순서형 로지스틱 회귀에서는 비례오즈 가정과 범주별 예측 성능을 검토할 수 있습니다.

통계적 유의성은 자료가 특정 가설과 얼마나 양립하기 어려운지를 판단하는 데 도움을 줍니다. 그러나 p값만으로 효과가 크거나 실무적으로 중요하다고 결론 내릴 수는 없습니다. 표본이 매우 크면 실제 차이가 작더라도 통계적으로 유의할 수 있고, 표본이 작으면 의미 있는 차이가 있더라도 유의하지 않을 수 있습니다. 따라서 결과를 해석할 때는 효과 크기(차이나 연관성이 어느 정도인가), 신뢰구간(추정의 불확실성), 표본 크기(얼마나 많은 관측치에 근거하는가), 연구 맥락(실제 의사결정에 의미가 있는가)을 함께 확인하는 것이 좋습니다.

효과 크기는 분석 방법과 연구 질문에 맞게 선택해야 합니다. 예를 들어 Cramér의 V는 범주형 변수 간 연관성의 강도를 요약하지만, 어떤 범주가 더 높은지 또는 어느 방향으로 차이가 나는지를 단독으로 설명하지는 않습니다.

전체 검정 결과가 유의하더라도 어떤 범주에서 차이가 발생했는지 바로 알 수 있는 것은 아닙니다. 카이제곱 검정에서 성별과 브랜드 선택 사이에 유의한 관계가 확인되었더라도, 어떤 성별이 어떤 브랜드를 상대적으로 많이 선택했는지는 충분히 설명되지 않습니다. 이때 관측빈도와 기대빈도를 비교하거나 잔차를 살펴볼 수 있습니다.

잔차가 양수이면 관측빈도가 기대빈도보다 크고, 음수이면 작다는 뜻입니다. 그림 4에서 남성의 브랜드 C는 관측 73명, 기대 58명으로 잔차가 +1.97, 여성의 브랜드 C는 −1.97로 가장 큽니다. 이 표의 전체 검정 결과(χ²(2) = 12.40, p = 0.002)를 만든 것은 주로 브랜드 C 칸이라는 뜻입니다. 다만 이 식은 Pearson 잔차이며, 모든 상황에서 바로 쓸 수 있는 표준화 검정 통계량은 아닙니다. 셀별 유의성을 판단하려면 적절한 표준화 잔차나 별도의 검정을 사용하고, 여러 셀을 동시에 살펴보는 경우 다중비교도 고려해야 합니다.

통계 결과를 보고할 때는 검정 통계량과 p값만 나열하기보다, 분석 목적과 주요 결과가 무엇인지 자연스럽게 연결해야 합니다. 다음은 가상 수치를 사용한 예시입니다.

실제 보고서에는 본인의 분석 결과에 맞는 검정 통계량, 자유도, p값, 효과 크기와 신뢰구간을 넣어야 합니다. 또한 관측자료에서 확인된 관련성을 인과적 효과로 표현하지 않도록 주의해야 합니다. 연구 설계와 가정이 뒷받침하지 않는 한, “영향을 주었다”보다는 “관련성을 보였다” 또는 “연관되어 있었다”와 같은 표현이 적절할 수 있습니다.

분석 결과를 보고서나 논문에 사용하기 전에 다음 사항을 확인해 보세요. 항목을 눌러 체크할 수 있습니다.

범주형자료 분석에서는 적절한 검정이나 모형을 선택하는 것뿐 아니라 분석 가정과 결과의 의미를 정확하게 이해하는 것이 중요합니다. 통계적 유의성 외에도 효과크기, 신뢰구간, 모형 적합도 등을 함께 살펴봐야 합니다.

1. 자료에 맞는 분석 방법을 선택합니다. 범주의 수와 순서, 관측값의 독립성, 반복 측정 여부 등을 고려해야 합니다.
2. 여러 결과를 함께 확인합니다. p값뿐 아니라 효과크기, 신뢰구간, 모형 적합도, 범주별 빈도와 잔차 등을 종합적으로 검토합니다.
3. 해석의 범위를 구분합니다. 통계적으로 유의한 연관성이 확인되더라도 인과관계가 입증되는 것은 아닙니다. 분석 가정과 모형의 한계도 함께 보고해야 합니다.

범주형자료분석 12개 주제를 마치며

범주형자료 분석은 빈도와 비율로 관계를 읽습니다. 범주의 수와 순서, 관측값의 독립성, 반복 측정 여부가 방법을 정하고, 유의성과 함께 효과의 크기와 해석상의 한계를 제시해야 결과가 완성됩니다.