정확검정

정확검정(Exact Test)은 표본이 작거나 관측빈도가 낮아 일반적인 근사 검정의 신뢰성이 떨어질 수 있을 때 사용하는 통계적 검정 방법입니다. 앞서 배운 카이제곱 검정(03장)은 관찰빈도와 기대빈도의 차이로 검정통계량을 계산하고, 카이제곱 분포를 통해 p값을 근사합니다. 하지만 표본이 작거나 일부 셀의 기대빈도가 매우 낮으면 이러한 근사가 부정확해질 수 있습니다. 이럴 때 대표적으로 사용하는 방법이 Fisher의 정확검정(Fisher's Exact Test)이며, 특히 두 범주형 변수로 구성된 2 × 2 분할표에서 널리 활용됩니다.

신약의 효과를 확인하기 위해 환자 20명을 두 집단으로 나누어 치료 결과를 조사했다고 가정하겠습니다.

그림 1처럼 이 표의 기대빈도는 호전됨 6명, 호전되지 않음 4명입니다. 호전되지 않은 두 칸의 기대빈도가 4로 5보다 작아, 카이제곱 근사를 그대로 쓰기에는 조심스러운 상황입니다.

그림 2처럼 치료군에서 호전된 비율은 80%, 대조군에서는 40%입니다. 두 집단의 차이가 눈에 띄지만 각 집단이 10명뿐이므로, 일반적인 근사 검정 대신 정확검정을 고려할 만합니다. 다만 표본 수가 작다는 이유만으로 항상 정확검정을 해야 하는 것은 아닙니다. 기대빈도, 자료의 구조, 연구 설계를 함께 고려해야 합니다.

Fisher의 정확검정은 2 × 2 분할표에서 행과 열의 합계가 주어졌다고 할 때, 귀무가설 아래에서 관찰된 표와 그보다 극단적인 표가 나타날 확률을 계산하는 방법입니다. 일반적인 카이제곱 검정처럼 큰 표본에서의 분포를 근사하는 대신, 조건에 맞는 표의 확률을 이용해 p값을 계산합니다. 치료군과 대조군의 결과가 실제로 다르지 않다고 가정했을 때, 현재처럼 결과가 한쪽 집단에 치우친 표가 우연히 관찰될 가능성은 얼마나 되는지를 묻는 것입니다.

그림 3처럼 행 합계(10 · 10)와 열 합계(12 · 8)를 고정하면, 치료군의 호전 수 a만 정하면 나머지 세 칸이 자동으로 정해집니다. a는 2부터 10까지 가능하므로 가능한 표는 9가지이고, 관찰한 표는 a = 8입니다. 일반적인 Fisher 검정은 이처럼 행과 열의 주변합계를 고정한 조건부 검정입니다. 따라서 모든 상황에서 유일하게 정답인 검정이라는 뜻은 아닙니다.

치료군의 호전 비율은 8/10 = 80%, 대조군은 4/10 = 40%로 관찰된 비율 차이는 40%p입니다. 이 표에 양측 Fisher의 정확검정을 적용하면, 귀무가설 아래에서 관찰한 표(a = 8, 확률 0.075)만큼 또는 그보다 드문 표들의 확률을 모두 더해 p = 0.0004 + 0.0095 + 0.075 + 0.075 + 0.0095 + 0.0004 ≈ 0.170을 얻습니다. 따라서 유의수준 0.05에서는 두 집단의 결과가 다르다고 판단할 충분한 통계적 근거가 없습니다.

이는 두 집단의 차이가 없다는 사실이 입증되었다는 의미가 아닙니다. 표본이 작아 실제 차이를 확인할 검정력이 충분하지 않았을 가능성도 있습니다. 또한 p값만으로 효과의 크기를 판단해서는 안 됩니다. 치료 효과를 평가하려면 위험비나 오즈비, 신뢰구간 등을 함께 확인하는 것이 좋습니다(05장).

그림 4처럼 이 표의 오즈비는 (8 × 6) ÷ (2 × 4) = 6이지만, 95% 신뢰구간이 0.81 ~ 44.4로 1을 포함하고 매우 넓습니다. 효과가 없다는 뜻이 아니라, 20명의 자료로는 효과의 크기를 좁혀 말할 정보가 부족하다는 뜻입니다.

2 × 2 분할표에서 Fisher의 정확검정은 주변합계가 고정되어 있다고 가정하고, 가능한 표 각각의 확률을 계산합니다. 관찰된 표를 다음과 같이 나타내겠습니다.

그림 5처럼 치료군 10명 중 8명, 대조군 10명 중 4명이 호전되는 방법의 수(45 × 210)를, 호전된 12명을 20명 중에 배치하는 전체 방법의 수(125,970)로 나누면 0.075입니다. 실제 p값은 검정의 방향과 정의에 따라 관찰된 결과만큼 또는 그보다 극단적인 표들의 확률을 합산해 구합니다.

그림 6처럼 같은 20명의 표라도 보정 없는 카이제곱 검정은 p = 0.068, 연속성 보정 카이제곱은 0.171, Fisher의 정확검정은 양측 0.170, 단측 0.085입니다. 표본이 작을수록 방법 선택이 결과에 큰 영향을 주므로, 분석 전에 방법과 검정 방향을 정해 두어야 합니다.

카이제곱 검정과 Fisher의 정확검정 중 어느 것이 항상 더 우수하다고 말할 수는 없습니다. 연구 질문, 표본 크기, 기대빈도, 표본 설계에 맞춰 선택해야 합니다.

어떤 방법을 선택하든 자료가 어떻게 수집되었는지, 관측값이 독립적인지, 어떤 귀무가설을 검정하는지를 먼저 확인해야 합니다.

그림 7은 실제 호전율이 치료군 80%, 대조군 40%로 분명히 다를 때, Fisher 검정이 p < 0.05를 낼 확률(검정력)을 모의실험한 결과입니다. 집단당 10명이면 25%에 그쳐 네 번 중 세 번은 차이를 놓치고, 40명이 되어야 95%가 됩니다. 1절 예시의 p = 0.170도 이런 맥락에서 해석해야 합니다.

• 정확검정: 근사 분포 대신 가능한 결과의 확률을 이용해 검정하는 방법입니다.
• Fisher의 정확검정: 특히 2 × 2 분할표에서 두 범주형 변수의 연관성을 검정할 때 널리 사용됩니다.
• 카이제곱 검정과의 차이: 카이제곱 검정은 분포를 근사하고, Fisher의 정확검정은 주어진 주변합계 아래에서 표의 확률을 계산합니다.
• 결과 해석: p값뿐 아니라 효과크기, 신뢰구간, 표본 설계와 연구 목적을 함께 고려해야 합니다.

다음은 05 연관성의 측정입니다. 범주형 변수 간 관계를 p값만으로 판단하지 않고, 그 관계가 얼마나 강한지 오즈비, 상대위험도, Cramér의 V로 표현하는 방법을 알아봅니다.