분산분석(ANOVA)

세 가지 교육 방법 중 어떤 방법이 학생들의 시험 성적에 더 좋은 결과를 보일까요? 연령대에 따라 고객 만족도에 차이가 있을까요? 서로 다른 광고 전략을 적용했을 때 소비자의 구매 의향은 달라질까요?

이처럼 여러 집단의 평균을 비교하고, 집단 간 차이가 통계적으로 유의한지 확인할 때 사용하는 대표적인 방법이 분산분석(ANOVA, Analysis of Variance)입니다.

분산분석은 교육학, 심리학, 경영학, 사회과학, 보건학 등 다양한 분야에서 집단 간 차이나 실험 조건의 효과를 분석할 때 사용됩니다. 특히 세 집단 이상의 평균을 비교하거나, 두 개 이상의 요인이 결과에 미치는 영향을 함께 살펴보는 연구에서 유용합니다.

이번 글에서는 분산분석의 기본 개념부터 작동 원리, 주요 분석 방법, 실제 분석 사례, 사후검정, 결과 해석 시 주의해야 할 점까지 살펴보겠습니다.

예를 들어 학생 90명을 대상으로 세 가지 학습 방법의 효과를 비교한다고 가정해 보겠습니다.

• A집단: 기존 강의식 학습
• B집단: 온라인 학습
• C집단: 토론 중심 학습

각 집단에 30명씩 배정하고 교육을 마친 뒤 시험 점수를 측정합니다. 그 결과 세 집단의 평균 점수가 각각 72점, 78점, 85점으로 나타났다고 가정해 보겠습니다. 평균만 보면 C집단의 점수가 가장 높지만, 이 차이가 실제로 통계적으로 유의한지는 아직 알 수 없습니다.

분산분석은 각 집단의 평균 차이와 집단 내부의 점수 변동을 함께 고려하여 평균 차이가 통계적으로 유의한지 판단합니다. 여기서 중요한 점은 분산분석이 단순히 어느 집단의 평균이 높은지 순위를 정하는 방법은 아니라는 것입니다.

평균을 비교하는 분석인데 왜 '평균분석'이 아니라 '분산분석'이라고 부를까요? 그 이유는 평균의 차이를 판단하기 위해 데이터의 변동성을 비교하기 때문입니다. 분산분석에서는 전체 데이터의 변동을 크게 두 부분으로 나누어 살펴봅니다.

집단 간 변동(Between-Group Variation)

각 집단의 평균이 전체 평균으로부터 얼마나 떨어져 있는지를 나타냅니다. 집단 평균들이 서로 크게 다르면 집단 간 변동이 커집니다.

집단 내 변동(Within-Group Variation)

같은 집단에 속한 관측값들이 해당 집단의 평균으로부터 얼마나 떨어져 있는지를 나타냅니다. 예를 들어 같은 학습 방법을 적용한 학생들의 시험 점수가 서로 크게 다르면 집단 내 변동이 커집니다. 분산분석에서는 이러한 두 변동의 상대적인 크기를 비교합니다.

집단 내부의 점수 차이에 비해 집단 평균 사이의 차이가 충분히 크다면, 모집단 평균이 모두 같다는 가설에 반하는 증거가 될 수 있습니다.

F값은 집단 간 평균제곱을 집단 내 평균제곱으로 나눈 값입니다.

여기서 평균제곱(Mean Square)은 해당 변동의 제곱합을 자유도로 나눈 값입니다. 일원분산분석에서 F값이 크다는 것은 집단 내부의 변동에 비해 집단 평균 사이의 차이가 상대적으로 크다는 의미입니다.

반대로 F값이 1에 가까우면 집단 간 변동과 집단 내 변동의 크기가 비슷하다는 의미로 볼 수 있습니다. 하지만 F값이 크다고 해서 무조건 통계적으로 유의한 것은 아닙니다. F분포는 자유도에 따라 달라지므로 F값과 자유도를 이용해 계산한 p값을 함께 확인해야 합니다.

분산분석 결과에서는 일반적으로 다음 지표들을 확인합니다.

학생 90명을 세 집단에 각각 30명씩 배정했습니다. 연구 질문은 다음과 같습니다.

집단별 기술통계

세 집단의 평균을 비교하면 토론 중심 학습을 적용한 C집단이 85점으로 가장 높게 나타났습니다. 온라인 학습을 적용한 B집단은 78점, 강의식 학습을 적용한 A집단은 72점입니다. 하지만 평균의 차이만으로 통계적 유의성을 판단할 수는 없습니다.

일원분산분석 결과

집단별 표준편차를 표본 표준편차로 사용하여 계산했으며, 수치는 반올림했습니다.

결과는 어떻게 해석할까요?

분산분석 결과 F값은 약 10.35이고, p값은 0.001보다 작게 나타났습니다. 일반적인 유의수준 0.05를 기준으로 볼 때 세 집단의 모집단 평균이 모두 같다는 귀무가설을 기각할 수 있습니다. 즉, 세 가지 학습 방법에 따른 평균 시험 점수에 통계적으로 유의한 차이가 있다고 해석할 수 있습니다.

그러나 여기서 주의해야 할 점이 있습니다.

따라서 어떤 집단 사이에서 차이가 나타났는지 확인하려면 사후검정(Post Hoc Test)을 실시해야 합니다.

하지만 어떤 집단과 어떤 집단 사이에서 차이가 발생했는지 직접 알려주지는 않습니다. 사후검정은 여러 집단을 서로 비교하여 구체적으로 어떤 집단 사이에 차이가 나타나는지 확인하는 방법입니다. 예를 들어 세 가지 학습 방법의 분산분석 결과가 유의했다면 다음 비교를 진행할 수 있습니다.

• A집단과 B집단
• A집단과 C집단
• B집단과 C집단

단순히 여러 번 t검정을 실시하면 비교 횟수가 증가하면서 제1종 오류가 발생할 가능성이 커집니다. 사후검정은 이러한 다중비교 문제를 고려하도록 설계된 방법입니다. 대표적인 사후검정 방법은 다음과 같습니다.

예를 들어 앞선 학습 방법 비교 사례에서 Tukey HSD 사후검정을 실시하면 어떤 학습 방법 사이에 평균 차이가 있는지 확인할 수 있습니다. 단, 사후검정 방법은 분산의 동질성, 집단별 표본 수, 비교 목적 등을 고려하여 선택해야 합니다.

연구를 시작하기 전에 특정 집단 간 비교를 계획했다면 사후검정보다 계획대비(Planned Contrasts)가 더 적절한 경우도 있습니다.

단순히 세 집단 이상의 평균을 비교하는 것뿐 아니라 여러 요인의 효과, 반복측정, 공변량의 영향 등을 함께 분석할 수 있습니다.

일원분산분석(One-Way ANOVA)

하나의 독립변수에 따른 여러 집단의 평균 차이를 분석하는 방법입니다. 예를 들어 학습 방법이라는 하나의 요인을 기준으로 세 집단의 시험 점수를 비교할 수 있습니다. 독립변수는 하나이지만 세 개 이상의 수준을 가질 수 있습니다.

이원분산분석(Two-Way ANOVA)

두 개의 요인이 결과에 미치는 영향을 동시에 분석하는 방법입니다. 예를 들어 학습 방법과 수업 형태가 시험 점수에 미치는 영향을 분석한다고 가정해 보겠습니다. 이원분산분석에서는 다음 세 가지를 확인할 수 있습니다.

• 학습 방법의 주효과
• 수업 형태의 주효과
• 학습 방법과 수업 형태의 상호작용 효과

여기서 상호작용이란 한 요인의 효과가 다른 요인의 수준에 따라 달라지는 현상을 의미합니다. 예를 들어 온라인 학습의 효과가 대면 수업에서는 작지만 비대면 수업에서는 크게 나타난다면 상호작용 가능성을 고려할 수 있습니다.

공분산분석(ANCOVA)

공분산분석은 집단 간 평균을 비교하면서 결과에 영향을 줄 수 있는 다른 수치형 변수를 통계적으로 조정하는 방법입니다. 예를 들어 서로 다른 학습 방법의 효과를 비교하면서 학생들의 사전 시험 점수를 공변량으로 포함할 수 있습니다.

이를 통해 사전 점수와 관련된 차이를 통계적으로 조정한 상태에서 학습 방법에 따른 결과를 비교합니다. 다만 공변량을 포함한다고 해서 집단 간 모든 차이가 제거되거나 인과관계가 자동으로 성립하는 것은 아닙니다.

다변량분산분석(MANOVA)

다변량분산분석은 두 개 이상의 종속변수를 동시에 분석하는 방법입니다. 예를 들어 학습 방법이 시험 점수와 학습 만족도에 미치는 영향을 함께 살펴볼 수 있습니다. 각 종속변수를 따로 분석하는 것과 달리 여러 결과변수 사이의 관계도 고려하여 집단 간 차이를 검정합니다.

다변량공분산분석(MANCOVA)

MANCOVA는 MANOVA에 공변량을 추가한 방법입니다. 여러 종속변수의 집단 간 차이를 분석하면서 관련된 공변량을 통계적으로 조정할 수 있습니다. 예를 들어 학습 방법에 따른 시험 점수와 학습 만족도의 차이를 분석하면서 사전 학업 성취도를 공변량으로 포함할 수 있습니다.

반복측정 분산분석(Repeated Measures ANOVA)

반복측정 분산분석은 동일한 대상자를 여러 시점이나 조건에서 측정한 결과를 비교하는 방법입니다. 예를 들어 학생 30명의 시험 점수를 교육 전, 교육 직후, 교육 3개월 후에 측정했다고 가정해 보겠습니다. 이때 동일한 학생의 점수는 서로 독립적이지 않으므로 반복측정 구조를 고려해야 합니다.

반복측정 분산분석을 이용하면 측정 시점에 따라 평균 점수가 달라지는지 확인할 수 있습니다.

혼합설계 분산분석(Mixed Design ANOVA)

혼합설계 분산분석은 집단 간 요인과 반복측정 요인을 함께 분석하는 방법입니다. 예를 들어 두 가지 교육 프로그램을 적용한 학생들의 시험 점수를 교육 전후로 측정했다고 가정해 보겠습니다. 이 경우 다음 효과를 살펴볼 수 있습니다.

• 교육 프로그램에 따른 집단 간 차이
• 교육 전후에 따른 시간 효과
• 프로그램에 따라 전후 변화가 달라지는 상호작용 효과

특히 서로 다른 집단이 시간에 따라 어떻게 변화하는지 비교하는 연구에서 활용됩니다.

주효과(Main Effect)

주효과는 다른 요인의 수준을 평균적으로 고려했을 때 특정 요인이 종속변수와 관련하여 나타내는 효과입니다. 예를 들어 학습 방법과 수업 형태를 함께 분석했을 때, 수업 형태 전반을 평균하여 학습 방법에 따른 점수 차이를 확인할 수 있습니다.

상호작용 효과(Interaction Effect)

상호작용 효과는 한 요인의 효과가 다른 요인의 수준에 따라 달라지는지를 나타냅니다. 예를 들어 학습 방법 A가 대면 수업에서는 효과적이지만 비대면 수업에서는 그렇지 않고, 학습 방법 B는 반대의 결과를 보인다고 가정해 보겠습니다.

이 경우 학습 방법의 효과가 수업 형태에 따라 달라지므로 상호작용이 나타날 수 있습니다. 상호작용 효과가 중요한 경우에는 전체 평균만으로 주효과를 해석하면 실제 집단별 차이를 놓칠 수 있습니다.

따라서 단순주효과(Simple Main Effects) 분석이나 상호작용 그래프 등을 통해 구체적인 차이를 살펴보는 것이 좋습니다.

하지만 분석할 수 있는 연구 설계와 비교 대상에 차이가 있습니다.

예를 들어 서로 다른 두 집단의 평균을 비교한다면 독립표본 t검정을 사용할 수 있습니다. 반면 세 가지 이상의 학습 방법을 비교하거나 학습 방법과 수업 형태의 영향을 동시에 살펴보고 싶다면 분산분석이 더 적절할 수 있습니다.

다만 두 독립집단만 비교하는 일반적인 등분산 조건에서는 Student의 t검정과 일원분산분석이 동일한 유의성 검정 결과를 제공합니다. 이때 F값은 t값의 제곱과 같습니다.

따라서 t검정과 분산분석은 완전히 별개의 원리로 작동하는 방법이라기보다, 평균 차이를 분석하는 통계적 틀 안에서 서로 연결된 방법이라고 볼 수 있습니다.

대표적인 가정은 다음과 같습니다.

관측값의 독립성

일반적인 독립집단 분산분석에서는 서로 다른 관측값이 독립적이어야 합니다. 예를 들어 같은 학생을 여러 번 측정한 데이터를 독립적인 집단의 자료처럼 분석하면 관측값 간 상관관계를 무시하게 됩니다. 이런 경우에는 반복측정 분산분석이나 혼합효과모형 등을 고려해야 합니다.

정규성

일반적인 분산분석에서는 각 집단의 오차가 정규분포를 따른다는 가정을 고려합니다. 실제로는 원자료 자체보다 모형의 잔차 분포를 확인하는 것이 중요합니다. 표본 수가 충분하고 집단별 표본 수가 비슷하다면 정규성에서 어느 정도 벗어나더라도 분산분석이 비교적 안정적으로 작동할 수 있습니다.

그러나 극단적인 이상치나 심하게 치우친 분포가 있다면 결과에 영향을 줄 수 있습니다.

등분산성

일반적인 일원분산분석은 집단 간 모집단 분산이 같다는 가정을 사용합니다. 등분산성은 Levene 검정 등을 통해 확인할 수 있습니다. 다만 등분산성 검정의 p값만으로 분석 방법을 기계적으로 결정하기보다 집단별 표준편차와 표본 수, 분포 등을 함께 살펴보는 것이 좋습니다.

등분산 가정이 적절하지 않다면 Welch ANOVA를 고려할 수 있습니다.

구형성(Sphericity)

반복측정 분산분석에서는 구형성 가정이 중요할 수 있습니다. 구형성은 반복측정 조건들 사이의 차이 점수들이 동일한 분산을 가진다는 가정입니다. 반복측정 수준이 세 개 이상일 때 구형성 위반이 문제 될 수 있으며, Mauchly의 구형성 검정 등을 확인할 수 있습니다.

구형성 가정이 충족되지 않는다면 Greenhouse-Geisser나 Huynh-Feldt 보정 등을 적용할 수 있습니다.

어떤 가정이 위반되었는지, 데이터의 특성이 어떠한지에 따라 대안을 선택해야 합니다.

예를 들어 세 독립집단의 데이터가 심하게 치우쳐 있고 극단적인 이상치가 많다면 Kruskal-Wallis 검정을 고려할 수 있습니다. 다만 Kruskal-Wallis 검정은 일반적인 분산분석과 검정 대상이 완전히 동일하지 않습니다.

따라서 정규성 가정이 충족되지 않는다는 이유만으로 무조건 비모수 검정으로 전환하는 것은 적절하지 않습니다.

대표적인 효과크기 지표로는 에타제곱(η²), 부분 에타제곱(Partial η²), 오메가제곱(ω²) 등이 있습니다.

에타제곱(Eta Squared, η²)

에타제곱은 일원분산분석에서 전체 변동 중 집단 구분으로 설명되는 변동의 비율을 나타냅니다. 예를 들어 η² = 0.16이라면 전체 변동의 약 16%가 집단 간 차이와 관련되어 있다는 의미입니다. 앞서 살펴본 학습 방법 사례에서는 다음과 같이 계산할 수 있습니다.

즉, 시험 점수의 전체 변동 중 약 19.2%가 학습 방법에 따른 집단 구분과 관련되어 있다고 해석할 수 있습니다. 다만 이것이 학습 방법의 인과적 기여도가 19.2%라는 뜻은 아닙니다.

부분 에타제곱(Partial Eta Squared)

부분 에타제곱은 특정 효과와 해당 오차항의 변동을 기준으로 효과크기를 나타냅니다. 이원분산분석이나 반복측정 분산분석 등 여러 효과를 함께 분석할 때 자주 사용합니다. 일원분산분석에서는 에타제곱과 부분 에타제곱이 같지만, 여러 요인이 포함된 분석에서는 서로 달라질 수 있습니다.

오메가제곱(Omega Squared, ω²)

오메가제곱은 표본에서 계산한 에타제곱이 모집단의 효과를 과대평가할 수 있다는 점을 고려해 보정한 효과크기 지표입니다. 상황에 따라 모집단에서의 설명 비율을 추정하는 데 활용할 수 있습니다.

이처럼 효과크기는 분산분석 결과가 통계적으로 유의한지뿐 아니라 집단 간 차이가 어느 정도 규모인지를 이해하는 데 도움이 됩니다.

앞서 살펴본 학습 방법 사례를 이용하면 다음과 같이 작성할 수 있습니다.

이 결과는 세 집단의 평균이 모두 같지는 않다는 사실을 보여줍니다. 다만 구체적으로 어떤 집단 사이에서 통계적으로 유의한 차이가 나타났는지 설명하려면 실제 사후검정 결과를 추가로 보고해야 합니다. 사후검정을 수행하지 않았다면 평균의 순서만으로 모든 집단 사이에 유의한 차이가 있다고 작성해서는 안 됩니다.

교육 연구

여러 학습 방법의 효과를 비교하거나 교육 프로그램 참여 전후의 변화를 분석할 수 있습니다.

마케팅 및 경영

연령대별 만족도 차이, 광고 유형에 따른 구매 의향, 제품 유형과 가격 수준의 상호작용 등을 분석할 수 있습니다.

사회과학 연구

직업 유형, 교육 수준, 소득 집단 등에 따른 삶의 만족도나 인식 차이를 확인할 수 있습니다.

보건 및 의료 연구

서로 다른 중재 프로그램에 따른 평균 측정값의 차이나 반복측정 시점별 변화를 분석할 수 있습니다.

심리학 연구

실험 조건에 따른 행동 차이, 자극 유형과 개인 특성 사이의 상호작용 등을 확인할 수 있습니다.

제품 개발 및 품질관리

서로 다른 생산 조건이나 실험 요인이 제품의 품질과 성능에 미치는 영향을 분석할 수 있습니다. 이처럼 분산분석은 단순한 집단 비교부터 여러 요인이 함께 작용하는 실험 연구까지 폭넓게 활용됩니다.

일원분산분석, 이원분산분석, 공분산분석, 반복측정 분산분석, 혼합설계 분산분석 등 다양한 방법이 있으며, 연구 설계에 따라 적절한 분석 방법을 선택해야 합니다. 또한 분산분석 결과가 유의하다고 해서 모든 집단 사이에 차이가 있다는 뜻은 아닙니다.

필요에 따라 사후검정을 실시하고, 평균 차이와 효과크기, 데이터 분포 등을 함께 확인해야 합니다. 특히 여러 요인을 포함한 연구에서는 주효과와 상호작용 효과를 구분하여 해석하는 것이 중요합니다.