반복측정 분산분석(ANOVA)

교육 프로그램에 참여한 사람들의 자신감은 훈련 직후 높아질까요? 4주가 지나도 변화가 유지될까요? 같은 사람을 여러 차례 측정했다면 단순히 세 집단의 평균을 비교해도 될까요?

이처럼 동일한 참가자에게서 여러 번 얻은 측정값의 평균 차이를 분석하는 방법이 반복측정 분산분석(Repeated-Measures ANOVA)입니다. 각 사람이 자신의 비교 기준이 되기 때문에 참가자마다 원래 가지고 있던 차이를 분석에서 고려할 수 있습니다.

일원분산분석이 서로 독립적인 집단의 평균을 비교하는 데 흔히 쓰인다면, 반복측정 분산분석은 같은 사람의 측정값들이 서로 관련되어 있다는 점을 반영합니다. 세 시점 이상의 변화나 여러 실험 조건의 평균 차이를 확인할 때 유용합니다.

심리·교육·보건 연구의 전후 추적, 사용자 경험 실험, 반복 측정이 있는 실험실 연구 등에서 활용됩니다. 이번 글에서는 교육 프로그램 사례를 통해 분석 원리, 평균과 F 검정 해석, 구형성 가정, 사후비교, 혼합설계 분석과의 차이 및 결과 보고 방법을 살펴보겠습니다.

반복측정 분산분석은 하나의 연속형 종속변수를 동일한 참가자에게 세 번 이상 측정하고, 시점 또는 조건에 따라 평균이 달라지는지 검정하는 방법입니다. 참가자별 고유한 평균 수준을 고려하여 시점 효과를 평가한다는 점에서 독립집단 ANOVA와 다릅니다.

같은 사람이 훈련 전에는 낮은 점수를 보이고, 훈련 직후와 4주 후에는 더 높은 점수를 보일 수 있습니다. 이 자료를 서로 다른 집단의 점수처럼 분석하면 한 사람에게서 나온 값이 연결되어 있다는 정보를 버리게 됩니다. 반복측정 분석은 이러한 상관성을 연구설계에 맞게 반영합니다.

① 같은 참가자를 모든 시점에서 측정합니다

참여자 36명의 자신감 점수를 훈련 전, 훈련 직후, 4주 후에 각각 측정합니다. 각 행이 한 참가자, 각 열이 하나의 시점이 되도록 자료를 정리할 수 있습니다.

② 시점별 평균 차이를 구합니다

세 시점의 평균을 계산한 뒤 전체 평균에서 얼마나 떨어져 있는지 확인합니다. 이 차이가 시점 효과를 나타내는 변동의 기초가 됩니다.

③ 참가자마다 원래 다른 수준을 고려합니다

참가자 간 평균 수준 차이를 별도로 분리합니다. 따라서 주된 검정에서는 동일 참가자 안에서 남는 변동과 시점에 따른 변동을 비교합니다.

④ F 통계량으로 전체 시점 효과를 검정합니다

시점 사이 변동을 잔차 변동과 비교해 F값을 얻습니다. 결과가 유의하면 적어도 한 시점의 평균이 다른 시점과 다르다고 볼 수 있지만, 어떤 시점 쌍이 다른지는 추가 비교가 필요합니다.

학습을 위한 가상 사례로, 직무 교육 프로그램 참여자 36명의 자신감 점수(0~100점)를 세 번 기록했습니다. 아래 값은 재현 가능한 가상 데이터를 생성해 계산한 결과이며 실제 교육 프로그램의 효과를 나타내지 않습니다.

평균은 훈련 전보다 직후에 높았고, 4주 후에도 더 높은 수준을 보였습니다. 다만 평균이 달라 보인다는 사실만으로 변화가 통계적으로 유의한지는 알 수 없습니다.

집단 평균이 증가하더라도 모든 참가자가 같은 폭으로 향상되는 것은 아닙니다. 일부는 큰 폭으로 증가하고 일부는 거의 변하지 않을 수 있습니다. 개인별 변화 궤적을 함께 보면 전체 평균이 숨기는 변동을 파악할 수 있습니다.

이 가상 자료에서 측정 시점의 효과는 F(2, 70) = 188.51, p < .001로 나타났습니다. 부분 η² = 0.843은 시점 효과와 잔차 변동을 기준으로 계산한 효과크기입니다. 이 검정 결과는 적어도 한 시점의 평균이 다르다는 뜻이지, 모든 시점 쌍이 서로 다르다는 뜻은 아닙니다.

구형성(sphericity)은 세 시점 이상에서 모든 시점 쌍의 차이점수 분산이 서로 같다는 가정입니다. 예를 들어 훈련 전–직후의 차이, 전–4주 후의 차이, 직후–4주 후의 차이의 분산이 같아야 합니다. 각 시점 점수 자체의 분산이 모두 같아야 한다는 뜻은 아닙니다.

구형성은 Mauchly 검정 등을 통해 점검합니다. 가정이 위배된다면 Greenhouse–Geisser 또는 Huynh–Feldt 방식으로 검정의 자유도를 보정하거나, 적절한 대체 모형을 고려할 수 있습니다. 시점이 두 개뿐이라면 구형성 문제는 발생하지 않습니다.

전체 F 검정이 유의하면 훈련 전–직후, 훈련 전–4주 후, 직후–4주 후의 대응비교를 진행할 수 있습니다. 같은 사람에게서 얻은 점수이므로 대응표본 비교를 사용해야 하며, 여러 번 비교한다는 점을 고려해 Holm·Bonferroni 등의 다중비교 보정을 적용합니다.

위 t값은 각 시점 쌍의 가상 자료에 대한 비교값이며, 보정 전 통계량입니다. 다중비교 보정이 필요한 실제 보고에서는 조정된 p값과 신뢰구간을 함께 제시합니다.

통계적으로 유의한 차이가 있더라도 실무적으로 중요한 변화인지 판단하려면 점수 차이와 효과크기를 함께 봐야 합니다. 반복측정 ANOVA에서는 부분 η²를 자주 보고하지만 표본·설계에 따라 일반화 η² 등을 함께 검토하기도 합니다.

이 사례에서는 시점별 평균이 62.4점에서 75.6점으로 변했으므로, 점수 척도에서 약 13.2점의 변화가 관찰되었습니다. 이러한 점수 차이는 효과크기와 함께 제시하되, 참가자를 무작위로 배정하지 않았다면 프로그램 자체의 인과효과로 단정하지 않습니다.

참가자 간 관측의 독립성

한 참가자의 반복 측정값은 서로 연결되어 있지만, 기본 모형에서는 참가자 간 관측이 서로 독립적이어야 합니다. 같은 팀이나 학교에 묶여 있는 자료라면 추가적인 군집 구조를 고려할 수 있습니다.

정규성과 극단적인 변화

기본 ANOVA의 오차 구조와 시점 간 차이의 분포를 점검해야 합니다. 극단적인 점수 변화가 결과를 좌우하는지 함께 살펴봅니다.

결측과 탈락

훈련 후 설문에 답하지 않은 참가자가 있다면 완전 사례만 사용하는 분석은 편향될 수 있습니다. 탈락 이유와 패턴을 검토하고, 필요한 경우 혼합효과모형 등 적합한 방법을 고려합니다.

구형성과 시간 간격

측정 시점이 세 개 이상일 때는 구형성 가정을 확인합니다. 시점이 불규칙하거나 변화 궤적 자체가 연구 질문이라면 다른 종단 모형이 더 적합할 수 있습니다.

이번 예제는 한 집단을 세 차례 관찰했기 때문에 반복측정 ANOVA가 적합한 출발점입니다. 교육을 받은 집단과 받지 않은 집단의 시간 변화 차이를 비교한다면 혼합설계 ANOVA를 고려할 수 있습니다.

결과 보고에서는 참가자 수와 측정 시점, 시점별 평균과 표준편차를 먼저 제시합니다. 다음으로 구형성 검정 및 필요시 보정 여부, F값, 자유도, p값과 효과크기를 보고합니다. 마지막으로 다중비교 보정이 적용된 사후비교 결과와 구체적인 평균 차이를 설명합니다.

서로 다른 조건에서 같은 참여자를 측정한다는 설계가 핵심입니다. 시간 순서가 있는 자료에서는 단순한 시점 차이 외에 학습효과·순서효과·성숙효과도 함께 고려해야 합니다.

교육 프로그램 예제에서 참여자 36명의 평균 자신감 점수는 훈련 전 62.4점, 직후 69.3점, 4주 후 75.6점이었습니다. 동일 참가자를 여러 번 측정한 자료이므로 관측값을 서로 독립적인 집단으로 취급해서는 안 됩니다. 반복측정 ANOVA는 참가자마다 원래 다른 점수 수준을 고려하면서 시점별 평균 차이를 평가합니다. 결과를 설명할 때는 평균 변화와 함께 F 검정, 효과크기, 필요한 사후비교를 제시해야 합니다.

분석을 적용할 때는 측정 시점 수, 참가자 간 독립성, 구형성, 결측 및 탈락 여부를 함께 살펴봐야 합니다. 전체 시점 효과가 유의하더라도 어떤 시점끼리 다른지는 별도로 확인해야 하며, 시간에 따른 변화가 나타났다는 사실만으로 교육 프로그램의 인과효과를 단정할 수는 없습니다. 집단 간 변화 양상까지 비교하려면 혼합설계 ANOVA, 측정 횟수나 상관구조가 복잡하다면 혼합효과모형이 더 적합할 수 있습니다.