비모수 방법의 효과크기

두 집단을 비교한 결과 p값이 0.01로 나타났다고 가정해 보겠습니다. 통계적으로 유의한 차이가 있다는 근거는 있지만, 실제 차이가 얼마나 큰지는 p값만으로 알 수 없습니다. 표본이 매우 크면 작은 차이도 유의할 수 있고, 반대로 표본이 작으면 의미 있는 차이가 있어도 유의하지 않을 수 있습니다. 이때 필요한 것이 효과크기(effect size)입니다. 효과크기는 집단 간 차이나 변수 간 관계가 어느 정도인지를 나타내는 지표입니다. 비모수통계에서는 평균 차이 대신 순위, 차이의 방향, 쌍별 비교 결과 등을 활용하는 효과크기를 자주 씁니다. 이 장에서는 04~07장에서 하나씩 본 효과크기를 한데 모아 정리합니다.

두 교육 프로그램의 시험 결과를 비교했다고 해 보겠습니다. 참여자는 각 100명, 평균은 프로그램 A 81점, B 80점이고, p값은 0.03입니다. 유의한 결과지만 점수 차이는 1점뿐이라, 이것만으로 A가 교육적으로 큰 효과가 있다고 결론 내리기는 어렵습니다.

그림 1은 이 상황을 그린 것입니다. 각 100명에 p = 0.03이 나오려면 점수의 표준편차가 약 3.3점이어야 하는데, 그러면 두 분포는 거의 겹칩니다. 무작위로 A 한 명과 B 한 명을 뽑으면 A가 더 높을 확률은 60%가 채 되지 않습니다. "차이가 있다"는 판단과 "차이가 크다"는 판단은 이렇게 다를 수 있습니다. 실제 분석에서는 평균만이 아니라 자료의 특성에 맞는 효과크기를 함께 확인해야 합니다.

효과크기와 p값은 서로 다른 질문에 답합니다.

통계적 유의성과 실질적 중요성은 구분해야 합니다. 효과크기가 크더라도 연구 맥락에 따라 중요성이 다를 수 있고, 효과크기가 작더라도 정책이나 임상 분야에서는 중요한 차이일 수 있습니다.

Mann–Whitney U 검정(04장)은 서로 독립인 두 집단을 비교합니다. 결과를 해석할 때는 p값과 함께 두 집단의 관측값이 어떤 순서 관계를 보이는지 나타내는 효과크기를 확인합니다.

표준화 검정통계량 기반 r. U 통계량을 표준화한 Z와 전체 표본 크기 N으로 계산합니다.

예를 들어 N = 50이고 Z = 2.8이면 r = 2.8 / √50 ≈ 0.40입니다. 보통 절댓값을 해석하며, 부호는 집단을 어떤 순서로 비교했는지에 따라 달라집니다.

관행적으로 0.1, 0.3, 0.5를 작은·중간·큰 효과의 대략적인 기준으로 제시하기도 합니다. 그림 2의 0.40은 중간과 큰 효과 사이입니다. 하지만 이 기준은 보편 법칙이 아니므로 연구 분야와 맥락에 맞춰 해석해야 합니다. √N으로 나누는 이유는 Z가 표본이 클수록 커지기 때문입니다. 표본 크기의 영향을 덜어 내야 "얼마나 큰가"를 비교할 수 있습니다.

우월확률과 순위 양분 상관. "무작위로 뽑은 A 집단의 한 관측값이 B 집단의 한 관측값보다 클 가능성은 얼마인가?"라는 질문으로 효과를 해석할 수도 있습니다. 동점이 없을 때 이 확률은 다음과 같습니다.

04장 예시라면 9번의 쌍별 비교 중 A가 7번 이겼으므로 P(A > B) = 7/9 ≈ 0.78이고, 04장 6절의 순위 양분 상관 r_rb = (7 − 2)/9 ≈ 0.56은 "이긴 비율 − 진 비율"입니다. 우월확률이 0.70이라면 A와 B에서 한 명씩 무작위로 뽑아 비교했을 때 A가 더 높을 확률이 약 70%라는 뜻이지, A 집단의 모든 사람이 B 집단의 모든 사람보다 높다는 뜻은 아닙니다. 동점이 있으면 동점 쌍을 절반씩 나눠 세는 방식으로 정의하기도 하고, 소프트웨어마다 U의 방향 정의가 다르므로 확인이 필요합니다.

Wilcoxon 부호순위 검정(05장)은 같은 참여자의 교육 전후 점수처럼 두 관측값이 연결된 대응표본을 분석합니다. 효과크기는 Mann–Whitney와 같은 방식으로 표준화 검정통계량에서 구할 수 있습니다.

유효한 대응 쌍이 36개이고 Z = 3.0이면 r = 3.0 / √36 = 0.50입니다.

소프트웨어마다 표준화 방식과 유효 표본 수의 정의가 다를 수 있습니다. 특히 차이가 0인 쌍을 빼는지(05장 8절), 동점을 어떻게 처리하는지에 따라 값이 달라지므로 사용한 정의를 밝혀 둡니다.

W⁺ 같은 순위합은 검정통계량을 만드는 재료일 뿐, 그 자체가 효과크기는 아닙니다. 순위합은 대응 쌍이 많을수록 커지기 때문입니다. 예를 들어 똑같이 순위합의 80%가 양의 방향에 있어도 n = 10이면 W⁺ = 44, n = 40이면 W⁺ = 656입니다. 효과의 크기를 요약하려면 r 같은 지표를 따로 계산해야 합니다.

Kruskal–Wallis 검정(06장)은 서로 독립인 세 집단 이상을 비교합니다. 검정통계량 H와 집단 수, 표본 크기로 효과크기를 요약하는 방법이 있습니다.

예를 들어 H = 12, k = 3, N = 60이면 η²_H = (12 − 3 + 1) / (60 − 3) = 10/57 ≈ 0.175입니다.

이 값은 관측된 집단 차이가 순위 분포에서 어느 정도 크기인지를 요약한 것입니다. 다만 이 값을 "만족도 변동의 17.5%를 설명한다"고 해석해서는 안 됩니다. 선형회귀의 결정계수 R²와 같은 의미가 아니기 때문입니다. 작은 표본에서는 음수가 나올 수 있어 0으로 처리하는 관행도 있고, 문헌과 소프트웨어마다 다른 정의를 제공하므로 공식 이름과 계산 방식을 함께 확인해야 합니다.

전체 검정이 유의하더라도 차이가 A–B, A–C, B–C 중 어디에 있는지는 알 수 없습니다. Dunn 검정 같은 사후비교와 다중비교 보정(06장 5절)을 하고, 각 쌍의 효과크기(쌍별 r 또는 우월확률)도 함께 제시하면 결과를 더 구체적으로 해석할 수 있습니다.

Friedman 검정(07장)은 같은 참여자가 세 가지 이상의 조건을 평가한 자료를 비교합니다. 예를 들어 참여자 20명이 앱 A, B, C를 모두 평가했다면 세 앱의 만족도 순위가 다른지 분석할 수 있습니다. 효과크기로는 Kendall의 일치계수 W를 씁니다.

참여자 20명, 앱 3개, Q = 12라면 W = 12 / (20 × 2) = 0.30입니다.

W는 0에서 1 사이의 값을 가지며, 이름 그대로 참여자들이 매긴 순위가 얼마나 일치하는지를 잽니다.

그림 6의 왼쪽처럼 네 명 모두 앱 A < B < C 순서로 평가하면 순위합이 4 · 8 · 12로 크게 벌어지고 W = 1입니다. 오른쪽처럼 사람마다 순서가 제각각이면 순위합이 8 · 7 · 9로 비슷해지고 W는 0에 가까워집니다. 값이 클수록 조건에 따른 순위 차이가 뚜렷하다는 뜻이며, 구체적인 해석은 연구 설계와 통계량 정의에 따라 달라집니다. W는 Q, 자유도, p값과 함께 보고합니다.

서로 다른 효과크기를 숫자만 보고 직접 비교하면 안 됩니다. 예를 들어 Mann–Whitney의 r = 0.4와 Kruskal–Wallis의 η²_H = 0.4는 계산 원리와 해석이 다릅니다. 앞의 0.1 · 0.3 · 0.5 기준도 r에 대한 관행일 뿐, η²_H나 W에 그대로 쓰지 않습니다.

다음은 보고서에 쓸 수 있는 예시입니다. 수치는 설명을 위해 가정한 값입니다.

이런 보고 방식은 검정통계량, p값, 효과크기와 방향을 함께 제시합니다. 실제 연구에서는 표본 수, 사용한 효과크기 공식, 동점 처리, 다중비교 여부를 확인해 필요한 정보를 덧붙여야 합니다.

• 효과크기는 차이나 관계가 얼마나 큰지 설명하며, p값과는 다른 정보를 제공합니다.
• Mann–Whitney U와 Wilcoxon 부호순위 검정에서는 표준화 검정통계량 기반 r을, Mann–Whitney에서는 우월확률도 쓸 수 있습니다.
• Kruskal–Wallis 검정에서는 η²_H를, Friedman 검정에서는 Kendall의 W를 쓸 수 있습니다.
• 서로 다른 효과크기는 숫자만으로 직접 비교하지 않습니다.
• 효과크기는 검정 방법에 맞게 고르고, 가능하면 신뢰구간과 함께 보고합니다.

다음은 마지막 장인 09 순열검정과 분포자유 추론입니다. 관측된 자료를 재배열해 검정통계량의 귀무분포를 만드는 순열검정을 살펴보고, 특정한 이론적 분포에 대한 가정을 줄이면서 p값을 어떻게 계산하는지, 순열검정이 언제 적절한지 알아봅니다.