비모수 검정

두 집단의 만족도에 차이가 있는지 확인하고 싶은데 데이터가 정규분포를 따르지 않는다면 어떻게 해야 할까요? 설문조사에서 수집한 5점 척도 응답을 비교하거나, 표본 수가 적고 극단적인 값이 포함된 데이터를 분석할 때는 어떤 방법을 사용해야 할까요?

이러한 상황에서 고려할 수 있는 통계분석 방법이 비모수 검정(Non-Parametric Test)입니다. 비모수 검정은 특정한 모집단 분포를 가정하지 않거나, 일반적인 모수 검정보다 분포에 대한 가정이 적은 통계적 검정 방법을 말합니다.

특히 순서형 데이터나 분포가 크게 치우친 데이터, 이상치의 영향을 줄이고 싶은 상황 등에서 활용됩니다. 이번 글에서는 비모수 검정의 기본 개념부터 모수 검정과의 차이, 대표적인 네 가지 비모수 검정, 실제 분석 사례, 결과를 해석할 때 주의해야 할 점까지 살펴보겠습니다.

일반적인 t검정이나 분산분석(ANOVA)은 평균을 비교하는 대표적인 모수 검정 방법입니다. 반면 비모수 검정에는 데이터의 순위를 비교하거나 관측값이 특정 방향으로 나타나는 경향을 검정하는 방법들이 있습니다. 예를 들어 학생 100명의 수업 만족도를 1점부터 5점까지 측정했다고 가정해 보겠습니다.

이때 1점은 매우 불만족, 5점은 매우 만족을 의미합니다. 이러한 데이터는 값의 순서에 의미가 있지만, 1점과 2점 사이의 차이가 4점과 5점 사이의 차이와 동일하다고 반드시 볼 수는 없습니다.

이처럼 순서형 척도로 수집된 자료에서는 평균을 비교하는 방법 외에도 순위를 활용하는 비모수 검정을 고려할 수 있습니다. 다만 비모수 검정이 모든 데이터에서 더 정확하거나 우수한 방법이라는 뜻은 아닙니다.

예를 들어 두 집단의 시험 점수를 비교하려고 한다면 독립표본 t검정을 사용할 수 있습니다. 반면 시험 점수가 심하게 치우쳐 있거나, 점수 대신 만족도 순위와 같은 데이터를 비교한다면 Mann-Whitney U 검정을 고려할 수 있습니다.

하지만 정규성 가정을 만족하지 않는다는 이유만으로 반드시 비모수 검정을 사용해야 하는 것은 아닙니다. 표본 수가 충분한 상황에서는 t검정이 정규성에서 어느 정도 벗어나더라도 비교적 안정적으로 작동할 수 있기 때문입니다.

또한 비모수 검정이 항상 중앙값 차이를 검정하는 것은 아닙니다. 검정 방법에 따라 모집단 분포, 순위의 상대적 위치, 차이의 대칭성 등에 관한 가설을 검정합니다.

각 방법은 비교하려는 집단 수와 데이터의 독립성 또는 반복측정 여부에 따라 구분할 수 있습니다.

Mann-Whitney U 검정

Mann-Whitney U 검정은 서로 독립적인 두 집단의 분포나 상대적 위치에 차이가 있는지 확인하는 방법입니다. 예를 들어 온라인 수업을 수강한 학생과 대면 수업을 수강한 학생들의 만족도를 비교할 수 있습니다.

두 집단의 응답을 함께 순위로 변환한 뒤, 순위가 한 집단에 상대적으로 높게 나타나는지 확인합니다. 독립표본 t검정의 비모수 대안으로 자주 사용되지만, 두 방법이 검정하는 가설은 완전히 같지 않습니다.

Wilcoxon 부호순위 검정

Wilcoxon 부호순위 검정은 서로 짝지어진 두 측정값의 차이를 분석하는 방법입니다. 대표적으로 같은 사람을 대상으로 프로그램 참여 전후의 값을 비교할 때 사용합니다. 예를 들어 학생 30명의 교육 전후 학습 자신감을 측정했다고 가정해 보겠습니다.

이때 각 학생의 전후 차이를 계산한 뒤, 차이의 방향과 크기에 따른 순위를 이용해 검정합니다. 대응표본 t검정과 달리 평균 차이의 정규성을 요구하지 않지만, 차이의 분포가 대칭적이라는 등의 조건을 고려해야 합니다.

Kruskal-Wallis 검정

Kruskal-Wallis 검정은 세 개 이상의 독립집단을 비교할 때 사용하는 방법입니다. 예를 들어 20대, 30대, 40대 고객의 서비스 만족도 분포에 차이가 있는지 확인할 수 있습니다. 일원분산분석의 비모수 대안으로 많이 활용됩니다.

다만 검정 결과가 유의하더라도 어떤 집단 사이에서 차이가 나타났는지는 직접 알 수 없으므로 추가적인 사후비교가 필요할 수 있습니다.

Friedman 검정

Friedman 검정은 동일한 대상자를 세 번 이상 측정했거나, 서로 관련된 여러 조건을 비교할 때 사용하는 방법입니다. 예를 들어 고객 30명에게 세 가지 제품을 모두 사용하게 한 뒤 만족도를 평가하도록 했다고 가정해 보겠습니다. 이때 각 고객이 세 제품을 평가했으므로 응답값은 서로 독립적이지 않습니다.

Friedman 검정은 이러한 반복측정 구조를 고려하여 조건 간 순위에 차이가 있는지 검정합니다.

A서비스를 이용한 고객 50명과 B서비스를 이용한 고객 50명을 대상으로 만족도를 조사했습니다. 만족도는 다음과 같은 5점 척도로 측정했습니다.

• 1점: 매우 불만족
• 2점: 불만족
• 3점: 보통
• 4점: 만족
• 5점: 매우 만족

연구 질문은 다음과 같습니다.

분석에서는 두 집단이 서로 독립적이며, 만족도 응답이 순서형 데이터라는 점을 고려해 Mann-Whitney U 검정을 사용했다고 가정하겠습니다.

집단별 기술통계

B서비스의 중앙값은 4점으로 A서비스의 3점보다 높게 나타났습니다. 그러나 중앙값이 다르다는 사실만으로 통계적으로 유의한 차이가 있다고 판단할 수는 없습니다.

Mann-Whitney U 검정 결과

실제 결과는 개별 응답값의 순위, 동순위와 계산 방식에 따라 달라집니다.

결과는 어떻게 해석할까요?

Mann-Whitney U 검정 결과 p값이 0.008로 나타났습니다. 이는 일반적인 유의수준 0.05보다 작으므로 두 집단의 만족도 분포가 동일하다는 귀무가설을 기각할 수 있다는 의미입니다.

또한 B서비스의 중앙값과 사분위수가 A서비스보다 높게 나타났으므로, 이 예시에서는 B서비스 이용자의 만족도 응답이 상대적으로 높은 경향을 보인다고 설명할 수 있습니다.

따라서 집단별 중앙값과 사분위수뿐 아니라 응답 분포도 함께 살펴보는 것이 좋습니다.

예를 들어 두 집단의 데이터를 다음과 같이 수집했다고 가정해 보겠습니다.

두 집단의 값을 모두 합친 뒤 작은 값부터 순위를 매기면 다음과 같습니다.

동일한 값인 4가 두 개 존재하므로 두 값에는 평균 순위인 3.5가 부여됩니다. 이 예시에서는 B집단에 상대적으로 높은 순위가 많이 포함되어 있습니다. Mann-Whitney U 검정은 이처럼 집단별 순위의 상대적인 위치를 이용하여 두 집단이 동일한 분포에서 나왔다고 볼 수 있는지 검정합니다.

순위를 활용하면 극단적으로 큰 값이 결과에 미치는 영향을 줄일 수 있는 경우가 있습니다. 예를 들어 10이라는 값이 1,000으로 바뀌더라도 가장 큰 값이라는 순위가 유지된다면 순위 기반 계산에는 같은 방식으로 반영될 수 있습니다.

그러나 순위를 사용한다고 해서 모든 이상치 문제나 데이터 품질 문제가 해결되는 것은 아닙니다. 또한 실제 값 사이의 간격에 관한 정보가 줄어든다는 점도 고려해야 합니다.

서로 다른 두 집단이라면

예를 들어 서로 다른 고객들이 A서비스와 B서비스를 각각 평가했다면 두 집단은 독립표본입니다. 이때 연속형 변수의 평균을 비교하고 t검정의 조건이 적절하다면 독립표본 t검정을 고려할 수 있습니다.

반면 순서형 응답이거나 순위 기반 비교가 연구 목적에 적합하다면 Mann-Whitney U 검정을 사용할 수 있습니다.

같은 사람을 두 번 측정했다면

예를 들어 동일한 고객이 서비스 개선 전후의 만족도를 평가했다면 대응표본입니다. 평균 변화에 관심이 있고 적절한 가정이 충족된다면 대응표본 t검정을 사용할 수 있습니다. 반면 차이의 순위와 방향을 분석하려면 Wilcoxon 부호순위 검정을 고려할 수 있습니다.

중요한 것은 정규성 여부만이 아니라, 독립표본인지 대응표본인지, 어떤 차이를 검정하려는지를 함께 고려하는 것입니다.

Kruskal-Wallis 검정: 독립적인 여러 집단 비교

예를 들어 연령대별로 서비스 만족도에 차이가 있는지 확인하려고 한다고 가정해 보겠습니다.

• 20대 고객
• 30대 고객
• 40대 고객

각 연령대의 고객은 서로 다른 사람들로 구성되어 있으므로 독립적인 집단입니다. 이때 순위 기반 분석이 적절하다면 Kruskal-Wallis 검정을 사용할 수 있습니다.

Friedman 검정: 동일한 대상자의 반복측정 비교

이번에는 고객 30명이 세 가지 제품을 모두 평가했다고 가정해 보겠습니다.

• 제품 A 만족도
• 제품 B 만족도
• 제품 C 만족도

각 고객이 세 제품을 평가했으므로 측정값은 서로 관련되어 있습니다. 이때 Friedman 검정을 이용하면 세 제품에 대한 평가 순위에 차이가 있는지 확인할 수 있습니다.

두 검정 모두 전체적인 차이를 확인하는 방법입니다. 유의한 결과가 나타났다면 구체적으로 어떤 집단이나 조건 사이에 차이가 있는지 추가적인 사후비교를 수행할 수 있습니다.

예를 들어 Kruskal-Wallis 검정에서 유의한 결과가 나타났다고 가정해 보겠습니다. 이는 모든 집단의 분포가 동일하다는 귀무가설에 반하는 증거가 있다는 의미입니다. 하지만 어떤 집단 사이에서 차이가 나타나는지는 알 수 없습니다.

따라서 집단별 사후비교를 수행할 수 있습니다. 대표적인 방법은 다음과 같습니다.

예를 들어 20대, 30대, 40대 고객의 만족도를 비교했다면 다음 세 가지 비교를 수행할 수 있습니다.

• 20대와 30대
• 20대와 40대
• 30대와 40대

하지만 여러 번 검정을 수행하면 제1종 오류의 위험이 증가할 수 있습니다. 따라서 Holm이나 Bonferroni 보정 등 적절한 다중비교 보정 방법을 함께 적용하는 것이 좋습니다. 사후검정 결과를 해석할 때는 보정된 p값과 집단별 분포, 효과크기 등을 함께 확인해야 합니다.

통계적으로 유의한 차이가 나타났더라도 그 차이가 얼마나 큰지 확인할 필요가 있습니다. 비모수 검정에서 사용하는 효과크기는 분석 방법에 따라 달라집니다.

예를 들어 Mann-Whitney U 검정에서 순위이분상관계수를 사용하면 두 집단의 상대적인 순위 차이가 어느 정도인지 표현할 수 있습니다. Friedman 검정에서는 Kendall's W를 이용해 반복측정 조건 사이의 순위 일치 정도를 살펴볼 수 있습니다.

다만 효과크기의 계산 방식과 해석 기준은 지표마다 다릅니다. 따라서 결과를 보고할 때는 어떤 효과크기를 사용했는지 명확하게 표시해야 합니다.

장점

순서형 데이터를 분석할 수 있습니다. 만족도 수준이나 선호 순위처럼 값의 순서에 의미가 있는 데이터를 분석할 때 유용합니다. 일부 분포 가정에 대한 부담이 적습니다.

정규분포를 가정하기 어려운 상황에서도 사용할 수 있는 방법들이 있습니다. 이상치의 영향을 줄일 수 있습니다. 순위를 활용하는 검정은 극단적인 관측값의 크기에 상대적으로 덜 민감할 수 있습니다.

여러 연구 설계에 활용할 수 있습니다. 독립집단 비교부터 대응표본, 반복측정 자료까지 다양한 방법이 존재합니다.

한계

실제 값의 크기에 관한 정보가 줄어들 수 있습니다. 순위로 변환하면 관측값 사이의 간격이 얼마나 큰지에 관한 정보가 충분히 반영되지 않을 수 있습니다. 모수 검정보다 항상 검정력이 높은 것은 아닙니다.

모수 검정의 가정이 적절하게 충족되는 상황에서는 순위 기반 비모수 검정이 상대적으로 효율성이 낮을 수 있습니다. 검정 결과의 해석이 단순하지 않을 수 있습니다. 일부 비모수 검정은 평균이나 중앙값의 차이를 직접 검정하지 않기 때문에 결과를 정확하게 이해해야 합니다.

통계적 가정이 전혀 없는 것은 아닙니다. 독립성, 자료의 측정 수준, 분포의 대칭성 등 분석 방법에 따른 조건을 확인해야 합니다. 따라서 비모수 검정을 무조건 더 안전한 방법이라고 생각하기보다는 각 검정의 목적과 가정을 이해하는 것이 중요합니다.

데이터의 측정 수준

분석하려는 변수가 연속형인지, 순서형인지, 범주형인지 확인해야 합니다. 예를 들어 만족도 순위와 단순한 명목형 범주는 서로 다른 데이터입니다. 순위 기반 비모수 검정은 모든 범주형 데이터에 그대로 적용할 수 있는 방법이 아닙니다.

관측값의 독립성

독립집단을 비교하는 방법과 반복측정 자료를 분석하는 방법은 구분해야 합니다. 동일한 사람의 전후 측정값을 서로 독립적인 관측값으로 취급하면 잘못된 분석 결과를 얻을 수 있습니다.

분포의 형태

두 집단의 분포 형태가 크게 다르다면 순위 검정 결과를 단순히 중앙값의 차이로 해석하기 어려울 수 있습니다. 따라서 집단별 박스플롯이나 분포 그래프를 함께 확인하는 것이 좋습니다.

표본 수와 동순위

표본 수가 매우 적거나 같은 값이 반복되는 동순위(Ties)가 많다면 검정통계량과 p값 계산에 영향을 줄 수 있습니다. 특히 5점 만족도처럼 가능한 응답값이 제한된 데이터에서는 같은 점수를 선택한 사람이 많을 수 있습니다. 이러한 경우 분석 방법이 동순위를 어떻게 처리하는지 확인해야 합니다.

결측값

일부 관측값이 누락되었다면 실제 분석에 사용되는 표본 수가 줄어들 수 있습니다. 반복측정 자료에서는 특정 시점의 값이 누락된 경우 분석 가능한 대상자가 감소할 수도 있습니다. 따라서 분석 전에 결측값의 수와 처리 방법을 확인해야 합니다.

앞서 살펴본 서비스 만족도 비교 사례를 이용하면 다음과 같이 작성할 수 있습니다.

이처럼 결과를 작성하면 통계적으로 유의한 차이가 있었는지뿐 아니라 각 집단의 응답이 어떻게 분포하는지도 확인할 수 있습니다. 가능하다면 적절한 효과크기와 신뢰구간을 함께 제시하는 것이 좋습니다.

또한 Kruskal-Wallis나 Friedman 검정처럼 세 개 이상의 집단이나 조건을 비교한 경우에는 필요한 사후검정 결과도 추가로 보고해야 합니다.

설문조사 및 사회과학 연구

만족도, 태도, 인식 수준 등 순서형 응답의 집단 간 차이를 분석할 수 있습니다.

교육 연구

서로 다른 교육 프로그램에 참여한 학생들의 만족도나 학습 태도를 비교할 수 있습니다.

보건 및 의료 연구

통증 점수, 증상 등급, 환자 상태 평가 등 순서형 측정값을 비교할 수 있습니다.

마케팅 및 경영

고객 집단별 선호도 차이, 서비스 개선 전후의 만족도 변화, 여러 제품에 대한 평가 차이를 확인할 수 있습니다.

심리학 연구

실험 조건에 따른 순위형 반응이나 반복측정된 평가 점수의 차이를 분석할 수 있습니다. 특히 일반적인 평균 기반 검정이 적절하지 않거나 연구 목적상 순위와 상대적 위치를 비교하는 것이 중요한 경우 비모수 검정을 고려할 수 있습니다.

대표적으로 Mann-Whitney U 검정, Wilcoxon 부호순위 검정, Kruskal-Wallis 검정, Friedman 검정 등이 있습니다. 각 방법은 비교하려는 집단 수와 데이터의 독립성, 반복측정 여부에 따라 구분하여 사용해야 합니다.

또한 비모수 검정이 통계적 가정을 전혀 필요로 하지 않거나, 모든 상황에서 모수 검정보다 우수한 것은 아닙니다. 분포 형태와 데이터의 측정 수준, 연구 목적을 함께 고려하여 적절한 분석 방법을 선택하는 것이 중요합니다.