Friedman 검정

같은 참가자들에게 세 가지 교육 방식을 모두 경험하게 한 뒤 만족도를 측정했다고 가정해 보겠습니다. 교육 방식 A, B, C의 만족도를 비교하고 싶지만, 같은 참가자가 모든 방식을 평가했기 때문에 각 조건의 관측값은 서로 독립이 아닙니다. 이처럼 같은 대상에서 세 가지 이상의 조건을 반복 측정한 자료를 비교할 때 쓰는 비모수 검정이 Friedman 검정입니다. 06장의 Kruskal–Wallis 검정처럼 순위를 쓰지만, 각 참가자가 여러 조건에서 제공한 응답의 대응 관계를 그대로 유지한다는 점이 다릅니다.

Friedman 검정은 세 가지 이상의 관련된 조건이나 반복측정 결과를 비교하는 비모수 검정입니다. 반복측정 분산분석(repeated-measures ANOVA)의 비모수 대안으로 자주 쓰입니다.

그림 1의 왼쪽은 학생 9명이 한 방식씩만 경험한 경우이고, 오른쪽은 학생 4명이 세 방식을 모두 경험한 경우입니다. 오른쪽에서는 한 줄이 한 사람이고, 한 사람이 점수 세 개를 냅니다. Friedman 검정은 학생마다 세 점수의 순위를 매긴 뒤, 어느 방식이 전체적으로 높은 순위를 차지하는 경향이 있는지 평가합니다. 따라서 이 검정에서는 참가자 사이의 점수 차이보다 각 참가자 안에서 조건별 결과가 어떻게 달라지는지가 중요합니다.

학생 5명이 세 가지 교육 방식에 준 만족도 점수입니다.

Friedman 검정에서는 15개 점수를 한꺼번에 정렬하지 않습니다. 대신 각 학생의 행 안에서 세 조건의 순위를 매깁니다. 학생 3은 세 방식 모두 점수가 낮고(3·2·4) 학생 2는 모두 높은데(5·4·6), 이런 사람마다의 기준선 차이는 비교하려는 대상이 아니기 때문입니다. 행 안에서 순위를 매기면 "이 학생은 어느 방식을 상대적으로 더 좋아했나"만 남습니다. 점수가 낮은 조건에 1위, 중간에 2위, 높은 조건에 3위를 줍니다.

이 예시에서는 학생마다 세 점수에 동점이 없어 일반적인 순위를 매겼습니다. 순위합은 방식 C가 14로 가장 높고 방식 B가 6으로 가장 낮습니다. 학생별 비교에서 방식 C의 점수가 상대적으로 높은 경우가 많았다는 뜻입니다. 다만 순위합 차이만으로 유의성을 판단할 수는 없으므로 Friedman 검정통계량을 계산합니다.

예시는 n = 5, k = 3이고 순위합은 R_A = 10, R_B = 6, R_C = 14입니다.

보정 전 Friedman 통계량은 Q = 6.4입니다. 이 식이 재는 것도 Kruskal–Wallis의 H와 비슷합니다. 세 방식에 차이가 없다면 학생마다 순위가 무작위로 나뉘어, 각 방식의 순위합은 n(k + 1)/2 = 5 × 4 / 2 = 10 근처에 있어야 합니다. 실제 순위합 10 · 6 · 14가 10에서 멀어질수록 Q가 커집니다.

표본이 충분히 크면 Q는 자유도 k − 1인 카이제곱분포로 근사해 평가합니다. 하지만 이 예시는 참가자가 5명뿐이므로 근사에만 기대기보다 정확검정을 쓰는 것이 좋습니다. 학생 5명이 각자 세 방식에 순위를 무작위로 매기는 경우는 6⁵ = 7,776가지이고, 그중 Q가 6.4 이상인 비율, 즉 정확 p값은 약 0.039입니다(카이제곱 근사로는 약 0.041). 실제 데이터에 동점이 있으면 동순위 보정도 필요합니다.

교육 방식 A, B, C의 만족도를 분석한 결과가 다음과 같다고 가정하겠습니다.

그림 4처럼 자유도 2인 카이제곱분포에서 9.84보다 오른쪽 넓이가 0.007입니다. 유의수준 0.05에서 귀무가설을 기각합니다. 세 가지 교육 방식의 결과가 모두 같다는 가정에 반하는 통계적 근거가 있다는 뜻입니다. 그러나 이 결과만으로 어떤 방식이 더 우수한지, 어느 조건 쌍에서 차이가 있는지는 알 수 없습니다. 구체적인 비교는 사후검정으로 합니다.

세 조건이면 A–B, A–C, B–C 세 쌍을 살펴봅니다. 같은 사람의 두 조건을 비교하는 것이므로, 각 쌍에 대응표본 검정인 Wilcoxon 부호순위 검정(05장)을 적용하는 방법이 있습니다. 여러 쌍을 반복해서 검정하므로 Holm 보정 같은 다중비교 보정을 함께 적용합니다.

그림 5는 같은 학생 40명의 모의 데이터로 이 흐름을 계산한 것입니다. 전체 검정이 유의했고(Q = 9.65, p = 0.008), Holm 보정을 적용한 쌍별 Wilcoxon 검정에서는 A–C(0.010)와 B–C(0.011)가 유의했고, A–B(0.735)는 유의하지 않았습니다. "방식 C가 A, B와 다르다"가 결론이며, 세 방식이 모두 서로 다른 것은 아닙니다.

사후검정 결과를 보고할 때는 비교한 조건 쌍, 각 쌍의 검정 결과, 다중비교 보정 후 p값, 조건별 중앙값과 사분위범위, 필요하면 효과크기를 함께 제시합니다. Friedman 검정이 유의하다는 사실만으로 모든 조건 사이에 차이가 있다고 결론 내리지 않도록 주의해야 합니다.

두 검정 모두 세 집단 이상의 결과를 비교하지만, 데이터 구조가 다르고 그래서 순위를 매기는 방식도 다릅니다.

그림 6의 왼쪽처럼 Kruskal–Wallis는 15개 점수를 한 줄로 세워 1~15위를 매기므로 학생 간 수준 차이가 순위에 그대로 섞입니다. 오른쪽처럼 Friedman은 행마다 1~3위를 매겨 학생 안의 차이만 남깁니다.

두 검정은 서로 대체할 수 있는 방법이 아닙니다. 분석을 시작할 때 먼저 각 관측값이 서로 독립인지, 같은 대상에서 반복 측정된 값인지 확인해야 합니다.

반복측정 분산분석은 실제 점수의 크기를 쓰므로 평균 차이가 연구 질문의 핵심이라면 적절할 수 있습니다(분산분석 「반복측정 분산분석」). 반면 Friedman 검정은 순위를 쓰므로 분포 형태에 관한 가정이 부담스러울 때 고려할 수 있습니다. 다만 Friedman 검정도 참가자(대응 단위) 사이의 독립성, 적절한 측정 수준, 자료 구조 등은 확인해야 합니다.

p값은 조건 간 차이가 유의한지 판단하는 데 도움이 되지만, 차이가 얼마나 큰지는 알려 주지 않습니다. Friedman 검정에서는 Kendall의 일치계수 W를 효과크기로 쓸 수 있습니다.

W는 0과 1 사이에서 해석하며, 클수록 참가자들이 매긴 조건별 순위가 비슷하게 일치한다는 뜻입니다. 2절의 5명 예시는 W = 6.4 / (5 × 2) = 0.64로, 학생들이 거의 같은 순서(B < A < C)로 평가했습니다. 4절의 40명 예시는 W = 9.84 / (40 × 2) ≈ 0.12로, 유의하긴 하지만 순위의 일치 정도는 약한 편입니다. 효과크기의 크기는 연구 분야와 맥락을 고려해 해석하고, 동점 보정 여부와 사용한 정의를 함께 밝힙니다. 효과크기 지표들은 08장에서 한데 모아 비교합니다.

결과를 보고할 때는 조건별 표본 수와 기술통계량, Friedman 통계량·자유도·p값, 필요하면 Kendall의 W, 유의한 결과라면 사후검정과 다중비교 보정 결과를 함께 제시합니다.

위 수치는 설명을 위한 가상 예시입니다. 실제 보고에서는 분석에서 얻은 값을 쓰고, 사후검정 결과를 확인하기 전에는 특정 조건이 우수하다고 단정하지 않습니다.

1. 대응 관계: 모든 조건에서 같은 참가자 또는 대응되는 단위를 측정했는가?
2. 조건 수: 비교할 조건이 세 개 이상인가?
3. 자료의 완전성: 각 참가자가 모든 조건에서 측정값을 제공했는가? 결측치가 있다면 어떻게 처리하는가?
4. 순위 처리: 참가자별로 순위를 계산하고 동점을 적절히 처리했는가?
5. 검정 방식: 표본 크기와 자료 특성에 맞게 근사검정 또는 정확검정을 선택했는가?
6. 사후검정: 유의한 결과라면 조건별 비교와 다중비교 보정을 수행했는가?

특히 그림 8처럼 반복측정 자료에 결측치가 있으면, 한 조건만 빠져도 그 참가자는 표준 Friedman 검정에서 통째로 제외됩니다. 결측치를 단순히 무시하거나 임의로 채우기보다 연구 설계와 결측 발생 방식에 맞는 방법을 선택해야 합니다.

• Friedman 검정은 같은 대상에서 측정한 세 조건 이상의 결과를 비교하는 비모수 검정입니다.
• 각 참가자 안에서 조건별 순위를 계산하고, 조건별 순위합을 비교합니다.
• 유의한 결과는 조건 간 차이의 근거일 뿐, 어느 조건 쌍이 다른지는 사후검정으로 확인합니다.
• 독립집단을 비교하는 Kruskal–Wallis 검정과 달리, 반복측정의 대응 관계를 유지합니다.
• p값과 함께 조건별 기술통계량과 Kendall의 W 같은 효과크기를 보고하는 것이 좋습니다.

다음은 08 비모수 방법의 효과크기입니다. 지금까지 본 검정들의 효과크기를 한데 모아, p값과 무엇이 다른지와 검정마다 어떤 지표를 쓰는지 정리합니다.