순위와 경험분포

비모수통계에서는 데이터의 실제 값뿐 아니라, 그 값이 전체에서 어느 위치에 있는지를 중요하게 봅니다. 예를 들어 시험 점수가 72점과 85점이라는 사실도 중요하지만, 두 점수가 다른 사람들과 비교해 각각 몇 번째인지도 분석에 쓸 수 있습니다. 이때 쓰는 핵심 도구가 순위(rank)와 경험적 누적분포(empirical cumulative distribution)입니다. 순위는 여러 비모수 검정의 기초가 되고, 경험적 누적분포는 관측된 데이터가 어떤 모양으로 퍼져 있는지 보여 줍니다.

순위는 관측값을 크기순으로 정렬한 뒤 각 값에 순서를 매긴 것입니다. 보통 가장 작은 값에 1위, 그다음 값에 2위, 가장 큰 값에 마지막 순위를 줍니다. 학생 5명의 시험 점수로 순위를 매기면 다음과 같습니다.

순위는 점수 자체가 아니라 관측값 사이의 상대적인 위치를 나타냅니다. 그래서 점수의 단위나 분포 모양에 덜 의존하는 분석을 할 수 있습니다. 다만 순위만으로는 값 사이의 실제 차이가 얼마나 큰지 알 수 없습니다. 62점 다음 값이 63점이든 95점이든, 그 사이에 다른 관측값이 없다면 순위로는 똑같이 한 칸(2위 → 3위)입니다.

실제 데이터에서는 같은 값이 반복해서 나타날 수 있습니다. 이를 동순위(ties)라고 합니다. 관측값이 3, 5, 5, 8이라면, 정렬했을 때 3은 1번째 자리, 두 개의 5는 2번째와 3번째 자리, 8은 4번째 자리에 놓입니다. 같은 값에 다른 순위를 줄 수는 없으므로, 두 자리 번호의 평균을 똑같이 나눠 줍니다.

이 방법을 평균 순위(average rank)라고 합니다. 평균을 쓰면 순위의 합이 그대로 유지됩니다. 1 + 2.5 + 2.5 + 4 = 10으로, 동순위가 없을 때의 1 + 2 + 3 + 4 = 10과 같습니다. 같은 값이 세 개 이상이어도 원리는 같습니다. 같은 값 세 개가 2, 3, 4번째 자리를 차지한다면 각각 (2 + 3 + 4) ÷ 3 = 3을 줍니다.

동순위는 리커트 척도처럼 응답 범위가 좁은 데이터에서 자주 생깁니다. 5점 척도로 100명을 조사하면 같은 점수가 수십 개씩 나오기 때문입니다. 순위 기반 검정을 할 때는 동순위가 얼마나 있는지와 어떻게 처리했는지를 함께 확인해야 합니다.

순위합은 특정 집단에 속한 관측값들의 순위를 모두 더한 값입니다. 두 집단을 비교하는 Mann–Whitney U 검정과 Wilcoxon 순위합 검정의 기초가 됩니다. 교육 프로그램 참여 집단 A(4, 7, 8)와 비참여 집단 B(2, 5, 6)의 만족도를 비교해 보겠습니다. 두 집단을 합친 다음, 작은 값부터 순위를 매기고 집단별로 더합니다.

• 집단 A의 순위합: 2 + 5 + 6 = 13
• 집단 B의 순위합: 1 + 3 + 4 = 8

집단 A의 순위합이 더 크다는 것은 A의 관측값들이 전체적으로 더 높은 순위에 놓였다는 뜻입니다. 다만 순위합이 크다는 사실만으로 통계적으로 유의한 차이가 있다고 결론 내릴 수는 없습니다. 표본 크기와 순위의 분포를 고려해 검정통계량과 p값을 계산해야 하며, 이 과정은 04장 Mann–Whitney U 검정에서 이어집니다.

또한 순위합은 표본 크기의 영향을 받습니다. 사람이 많은 집단은 더할 순위가 많으니 순위합도 커지기 쉽습니다. 예를 들어 A가 2명(9, 10), B가 6명(2~8)이라면 순위합은 A가 7 + 8 = 15, B가 1 + 2 + … + 6 = 21로 B가 더 크지만, 실제 값은 A가 더 높습니다. 크기가 다른 집단을 비교할 때는 평균 순위(A 7.5, B 3.5)를 보거나, 표본 크기를 반영한 U 통계량을 사용해야 합니다.

순위가 각 관측값의 상대적인 위치를 나타낸다면, 경험적 누적분포는 특정 값 이하의 관측값이 전체에서 차지하는 비율을 나타냅니다. 경험적 누적분포함수(ECDF)는 다음과 같이 정의합니다.

식은 복잡해 보이지만 하는 일은 단순합니다. x 이하인 관측값을 세고, 전체 개수로 나눕니다. 고객 5명의 대기시간이 2, 3, 3, 7, 10분이라면 다음과 같습니다.

F̂_n(3) = 0.60은 전체 고객의 60%가 대기시간 3분 이하라는 뜻입니다. 그림 4처럼 ECDF는 관측값을 지날 때마다 계단처럼 올라갑니다. 한 칸의 높이는 1/n이고, 같은 값이 두 개인 3분에서는 두 칸(0.2 → 0.6)을 한 번에 올라갑니다. 관측값 사이에서는 평평하므로, 예를 들어 5분 이하의 비율도 3분 이하와 같은 0.60입니다. 이론적 분포를 미리 가정하지 않고 데이터만으로 분포 모양을 볼 수 있어 유용합니다.

두 개념은 모두 관측된 데이터를 이용하지만 묻는 질문이 다릅니다.

순위는 특정 고객의 대기시간이 전체 중 어느 위치에 있는지(7분 고객은 5명 중 4위) 파악할 때 씁니다. ECDF는 대기시간이 5분 이하인 고객의 비율(3/5 = 0.6)처럼 기준값까지 데이터가 얼마나 쌓여 있는지 볼 때 씁니다.

순위 기반 분석은 실제 값보다 상대적인 순서를 중심으로 계산하므로, 극단적인 관측값의 영향을 줄이는 데 도움이 될 수 있습니다.

그림 6처럼 소득 데이터에서 가장 큰 값 하나가 400에서 4000으로 바뀌면 평균은 292에서 1012로 세 배 넘게 뜁니다. 하지만 순위는 1~5위 그대로입니다. 4000은 여전히 "가장 큰 값", 즉 5위일 뿐이기 때문입니다. 그래서 평균과 표준편차에 민감한 일부 모수적 방법보다 극단값의 크기에 덜 흔들립니다.

하지만 순위 기반 분석이 모든 문제를 해결하는 것은 아닙니다.

• 정보 손실: 관측값 사이의 실제 차이가 순위에 충분히 반영되지 않습니다(1절).
• 동순위 문제: 같은 값이 많으면 순위 계산과 검정통계량에 영향을 줄 수 있습니다(2절).
• 검정 가정: 비모수 검정에도 독립성, 표본 추출 방식 등 지켜야 할 가정이 있습니다.
• 해석의 주의: 순위 기반 검정에서 유의한 결과가 나왔다고 해서 언제나 두 집단의 중앙값이 다르다고 단정할 수는 없습니다(01장 5절).

따라서 순위는 데이터를 무조건 더 정확하게 만드는 도구가 아니라, 데이터의 순서 정보를 이용해 특정한 통계적 질문에 답하는 방법으로 이해해야 합니다.

• 순위는 관측값을 작은 값부터 큰 값까지 정렬했을 때 각 값이 차지하는 위치입니다.
• 동순위가 발생하면 해당 순위들의 평균을 부여합니다.
• 순위합은 집단에 속한 관측값들의 순위를 모두 더한 값입니다. 집단 크기가 다를 때는 평균 순위도 함께 살펴봅니다.
• 경험적 누적분포함수(ECDF)는 특정 값 이하의 관측값이 전체에서 차지하는 비율을 계단형 그래프로 보여줍니다.
• 순위 기반 분석은 관측값의 실제 크기보다 상대적인 순서에 초점을 맞춥니다. 다만 값 사이의 차이에 관한 정보는 일부 잃게 됩니다.

다음은 03 부호검정입니다. 관측값의 크기나 순위 대신, 차이가 양수인지 음수인지만으로 가설을 검정하는 방법을 살펴봅니다.