혼합설계 분산분석(ANOVA)

교육 프로그램에 참여한 사람들의 자신감은 훈련 후 얼마나 높아질까요? 시간이 지나도 변화가 유지될까요? 교육을 받지 않은 사람과 비교하면 변화 폭이 다를까요?

이처럼 서로 다른 집단을 비교하면서 같은 참가자의 반복 측정값도 함께 분석하는 방법이 혼합설계 분산분석(Mixed-Design ANOVA)입니다. 한 요인은 참가자 사이에서 달라지고, 다른 요인은 같은 참가자 안에서 반복됩니다.

독립집단 ANOVA는 집단 간 차이에, 반복측정 ANOVA는 동일한 참가자의 시간별 차이에 초점을 맞춥니다. 혼합설계 ANOVA는 두 가지를 동시에 다루며, 특히 집단에 따라 시간 변화가 달라지는지를 상호작용 효과로 검정합니다.

교육 프로그램의 효과 비교, 치료군과 대조군의 추적 관찰, 제품 사용 전후 평가 등에 활용할 수 있습니다. 이번 글에서는 교육 집단과 비교 집단을 이용해 분석 원리, 세 가지 효과, 그래프와 결과표 읽기, 가정 점검, 사후비교, 다른 분석과의 차이 및 보고 방법을 살펴보겠습니다.

혼합설계 분산분석은 집단 간 요인(between-subjects factor)과 집단 내 요인(within-subjects factor)을 포함하는 분산분석입니다. 예를 들어 교육 여부는 참가자별로 고정된 집단 요인이고, 교육 전·직후·4주 후는 한 참가자를 반복 측정한 시점 요인입니다.

교육 직후 교육 집단의 점수가 더 높다고 해도 출발점부터 차이가 났다면 해석이 달라집니다. 반대로 처음에는 비슷했지만 교육 후 한 집단만 크게 개선됐다면 변화 패턴 자체가 중요한 결과가 됩니다. 혼합설계 ANOVA는 이러한 집단 차이와 시점 변화를 동시에 평가합니다.

① 집단 요인을 구분합니다

참가자를 교육 집단과 비교 집단으로 나눕니다. 각 참가자는 하나의 집단에만 속합니다.

② 반복 측정된 시점을 지정합니다

동일 참가자의 자신감을 교육 전, 교육 직후, 4주 후에 측정합니다.

③ 세 가지 효과를 구분합니다

집단 주효과는 시점 전체를 평균한 집단 간 차이, 시점 주효과는 집단 전체를 평균한 시점 간 차이, 상호작용은 집단별 시점 변화가 다른지를 뜻합니다.

④ 오차 구조에 맞춰 F 검정을 수행합니다

집단 내 반복 측정의 상관을 고려하고 각 효과에 적절한 오차항을 사용해 F 통계량을 계산합니다.

학습을 위한 가상 예제입니다. 교육 프로그램에 참여한 30명과 참여하지 않은 30명을 교육 전·직후·4주 후에 조사했습니다. 아래 평균은 분석 개념을 설명하기 위한 예시이며 실제 관측자료로 검정한 결과가 아닙니다.

이 사례에서 두 집단의 차이는 교육 전 −1점, 직후 +9점, 4주 후 +14점입니다. 집단 간 차이의 크기가 시점에 따라 바뀌므로 교육 집단의 개선 폭이 비교 집단보다 클 가능성을 시각적으로 볼 수 있습니다.

실제 분석 결과에서는 각 효과의 F값과 자유도, p값, 효과크기를 제시해야 합니다. 여기서는 평균만 제시했으므로 검정 통계량이나 유의확률을 임의로 붙이지 않았습니다. 특히 상호작용이 유의하면 집단별 시점 변화에 대한 추가 비교를 우선합니다.

구형성 위배가 나타나면 Greenhouse–Geisser 또는 Huynh–Feldt 보정을 검토할 수 있습니다. 결측이 많거나 측정 간격이 일정하지 않다면 선형 혼합효과모형이 더 적합할 수 있습니다.

집단 × 시점 상호작용이 유의하면 단순효과(simple effects)를 분석합니다. 교육 집단에서 시점별 점수가 달라졌는지, 비교 집단에서도 변화가 있었는지 살펴보거나 각 시점에서 두 집단의 차이를 비교할 수 있습니다.

여러 쌍을 비교할 때는 Holm·Bonferroni 등 다중비교 보정을 적용하고 조정된 p값과 신뢰구간을 확인합니다.

혼합설계 ANOVA에서는 효과별 부분 η² 등 효과크기를 보고할 수 있습니다. 그러나 한 값만으로 실제 변화가 얼마나 중요한지 설명하기는 어렵습니다. 점수 차이와 변화량의 신뢰구간을 함께 제시하는 것이 좋습니다.

가상 예제에서는 교육 집단의 교육 전 대비 4주 후 증가 폭이 18점이고 비교 집단은 3점입니다. 변화량의 집단 간 차이는 15점이지만, 이 값이 우연 이상의 차이인지는 관측자료를 이용한 추정과 검정이 필요합니다.

집단 배정이 무작위인지 확인합니다

교육 집단과 비교 집단을 임의로 나누지 않았다면 선행 차이와 교란 요인이 남을 수 있습니다. 유의한 상호작용을 곧바로 인과효과로 볼 수 없습니다.

참가자 간 독립성을 지킵니다

동일 참가자 안의 반복 측정은 연결되지만 참가자 간 관측은 독립적이어야 합니다. 반이나 조직 단위로 묶인 자료는 군집을 고려해야 합니다.

결측과 중도 탈락을 점검합니다

4주 후 응답하지 않은 참가자가 특정 집단에 몰려 있으면 결과가 왜곡될 수 있습니다.

가정 위배에 따른 분석을 선택합니다

구형성, 이상치, 분산 구조를 검토하고 필요하면 적절한 보정이나 혼합효과모형을 사용합니다.

혼합설계 ANOVA는 반복측정 ANOVA에 집단 요인을 추가한 설계로 이해할 수 있습니다. 실제로는 시간 간격, 자료 누락, 집단 구조에 따라 더 유연한 종단 모형이 필요할 수도 있습니다.

먼저 연구 설계와 각 집단의 표본 수, 측정 시점을 밝히고 평균과 표준편차를 제시합니다. 이어 구형성 등 가정 점검과 보정 여부, 세 효과의 F값·자유도·p값·효과크기를 보고한 뒤, 상호작용이 유의한 경우 단순효과 및 보정된 사후비교를 설명합니다.

서로 다른 집단의 시간별 변화가 연구 질문의 중심일 때 적합합니다. 다만 단순히 반복 측정이 있다는 이유만으로 혼합설계를 사용하는 것은 아니며, 집단 구분과 측정 구조가 실제 연구 설계와 일치해야 합니다.

교육 프로그램 예제에서는 교육 집단의 자신감 평균이 61점에서 79점으로 증가한 반면, 비교 집단은 62점에서 65점으로 변했습니다. 단순한 최종 점수 차이보다는 처음부터 마지막까지 두 집단의 변화 폭이 얼마나 달랐는지가 중요한 질문입니다. 혼합설계 ANOVA의 상호작용 검정이 바로 이 차이를 평가합니다.

결과를 해석할 때는 집단·시점 주효과와 상호작용을 구분하고, 상호작용이 유의하다면 단순효과와 사후비교로 어떤 변화가 나타났는지 설명해야 합니다. 구형성, 결측, 집단 배정 방식도 확인해야 하며, 통계적 관련성과 인과효과를 혼동하지 않는 것이 중요합니다.