다변량분산분석(MANOVA)

교수법에 따라 학생들의 이해도는 달라질까요? 문제해결력도 함께 달라질까요? 두 가지 성과가 서로 관계가 있다면 각각 따로 비교하는 것만으로 충분할까요?

이처럼 여러 연속형 결과변수를 동시에 고려하여 집단 간 차이를 검정하는 방법이 다변량분산분석(MANOVA)입니다. 여러 성과를 하나의 분석에서 살펴볼 수 있다는 점이 특징입니다.

일원분산분석이 한 가지 결과변수의 평균 차이를 비교한다면, MANOVA는 결과변수들 사이의 관계까지 고려합니다. 먼저 전체적인 다변량 차이를 확인하고, 필요한 경우 개별 결과변수에 대한 후속 검정으로 구체적인 차이를 살펴봅니다.

교육, 심리, 보건, 경영 등 여러 성과를 동시에 평가하는 연구에서 사용됩니다. 이번 글에서는 교수법에 따른 이해도와 문제해결력 예제로 분석 원리, 결과표 해석, 가정 점검, 관련 분석과의 차이, 논문 보고 방법까지 살펴보겠습니다.

다변량분산분석(Multivariate Analysis of Variance, MANOVA)은 하나 이상의 범주형 집단변수를 기준으로 둘 이상의 연속형 결과변수를 동시에 비교하는 방법입니다. 각 결과변수를 따로 검정하는 대신 결과변수들 사이의 상관관계까지 고려해 집단 간 차이를 평가합니다.

이해도와 문제해결력은 보통 어느 정도 함께 움직입니다. 이때 개별 ANOVA를 여러 번 수행하면 검정 횟수가 늘어나고, 두 성과의 공통적인 패턴을 직접 평가하기 어렵습니다.

MANOVA는 결과변수의 선형결합을 통해 집단을 구분하는 차이가 있는지 살펴봅니다. 다만 MANOVA에서 유의한 결과가 나와도 모든 결과변수에서 차이가 있다는 뜻은 아닙니다.

분석 자료에서는 한 행에 학생 한 명을 두고, 같은 학생의 이해도와 문제해결력 점수를 각각 다른 열에 기록합니다. 서로 다른 학생의 점수를 하나의 쌍처럼 맞추면 안 됩니다.

가상의 대학생 135명을 세 교수법에 45명씩 배정하고 수업 종료 후 이해도와 문제해결력을 각각 100점 척도로 측정했다고 가정합니다. 아래 수치는 재현 가능한 모의 데이터에서 산출한 학습용 결과입니다.

실습식 집단은 두 평균 모두 높고, 토론식 집단은 강의식보다 이해도 평균이 높지만 문제해결력 평균 차이는 상대적으로 작습니다. 이 차이가 우연한 표본 변동을 넘어서는지는 다변량 검정을 통해 살펴봅니다.

일원 ANOVA가 집단 간 제곱합과 집단 내 제곱합을 비교한다면, MANOVA는 각 결과변수의 변동뿐 아니라 결과변수 사이의 공분산을 함께 담은 행렬을 비교합니다. 여러 성과를 가장 잘 구분하는 방향을 고려하기 때문에 결과가 단순한 ANOVA p값의 합이나 평균은 아닙니다.

이 통계량들이 서로 다른 질문을 검정하는 것은 아니지만, 계산 방법과 가정 위반에 대한 민감성이 다릅니다. 하나를 선택해 주 분석 기준으로 보고하는 것이 명확합니다.

예제에서는 교수법에 따른 이해도·문제해결력의 결합된 차이가 통계적으로 유의합니다. 다만 이 검정만으로 어느 교수법이 다른지, 어느 결과변수에서 차이가 나타났는지는 결정할 수 없습니다.

검정 결과는 앞서 생성한 모의 데이터에 대한 실제 계산값이며, 일반적으로 관찰되는 효과 크기를 뜻하지는 않습니다.

두 성과에 대한 후속 일원 ANOVA에서도 교수법 차이가 관찰됩니다. 하지만 정확히 어느 집단 쌍이 다른지는 사후비교가 필요합니다. 후속 검정이 여러 개이면 Holm 등의 방법으로 다중검정 문제를 관리해야 합니다.

학습자가 결과를 이해하기 쉽도록 결과변수별 평균 막대그래프를 먼저 보여주고, 필요하면 두 결과변수를 축으로 하는 산점도나 집단 중심도 함께 제시할 수 있습니다. 평균 그래프만으로 MANOVA의 다변량 검정을 직접 확인할 수 있는 것은 아닙니다.

실제 분석에서는 집단별 분포, 이상치, 두 결과변수의 상관관계도 함께 확인해야 합니다.

관측값 독립성

서로 다른 참가자의 관측값이 독립적이어야 합니다. 동일 학생의 반복측정이나 학급에 묶인 자료라면 연구 설계에 맞는 다른 모형을 고려합니다.

다변량 정규성 및 이상치

각 집단에서 결과변수들의 결합된 분포와 다변량 이상치를 살펴봅니다. 심각한 이상치는 공분산 추정과 검정에 영향을 줄 수 있습니다.

공분산행렬 동질성

집단별 결과변수 공분산 구조가 비슷한지 살펴봅니다. Box’s M 검정은 참고할 수 있지만 민감하므로 그래프와 표본 크기도 함께 고려합니다.

결과변수 간 관계

결과변수는 함께 분석할 이론적 이유가 있어야 하며, 완벽한 중복 관계나 심한 선형 종속이 있으면 분석이 불안정해질 수 있습니다.

예제에서 수업 전 점수를 공변량으로 조정하고 두 학습성과를 함께 분석하려면 MANOVA가 아니라 MANCOVA를 검토합니다.

실제 논문에서는 각 집단의 평균과 표준편차, 선정한 다변량 검정 통계량, 자유도, p값, 필요시 효과크기와 신뢰구간까지 함께 보고합니다.

여러 결과변수가 있다는 이유만으로 MANOVA를 선택하기보다, 각 결과의 측정 방식과 연구 질문, 변수 간 관계, 필요한 통계적 가정을 먼저 확인해야 합니다.

MANOVA는 이해도나 문제해결력을 각각 비교하는 데서 그치지 않고, 서로 관련된 결과변수들이 전체적으로 어떻게 달라지는지 확인하게 해 줍니다. 특히 하나의 연구에서 여러 학습성과나 심리척도를 함께 비교해야 할 때 도움이 됩니다.

다만 전체 검정이 유의하다고 해서 모든 결과변수에서 차이가 생기는 것은 아닙니다. 연구 설계와 가정을 확인하고, 후속 검정과 사후비교를 거쳐 어느 성과에서 어떤 집단 차이가 나타났는지 설명해야 합니다.