분산분석의 가정과 진단

분산분석(ANOVA)은 집단 간 평균 차이를 검정하는 방법이지만, 결과를 올바르게 해석하려면 데이터가 분석의 가정을 얼마나 충족하는지 확인해야 합니다. 예를 들어 세 집단의 평균을 비교했을 때 p값이 0.03이라고 해도, 데이터의 구조나 모형 가정에 문제가 있다면 일반적인 검정 결과를 그대로 신뢰하기 어려울 수 있습니다.

가정 진단의 목적은 분석을 무조건 통과시키는 것이 아니라, 결과가 얼마나 신뢰할 만한지 판단하고 필요한 경우 적절한 분석 방법을 선택하는 것입니다. 정규성·독립성·등분산성·이상치의 기본 개념은 기초편 통계적 추론의 가정에서 다뤘으니, 이 장에서는 분산분석에서 실제로 어떻게 진단하고 무엇으로 대응하는지에 집중합니다.

• ① 정규성 (Normality): 각 집단의 관측값 또는 모형의 오차가 적절한 정규성 조건을 만족하는지 확인합니다. 일반적인 ANOVA에서는 특히 모형 오차의 분포가 중요합니다.
• ② 등분산성 (Homogeneity of Variance): 비교하는 집단들의 오차 분산이 비슷한지 확인합니다. 집단별 분산 차이가 크고 표본 크기도 다르면 일반적인 ANOVA의 검정 결과에 영향을 줄 수 있습니다.
• ③ 독립성 (Independence): 관측값들이 서로 독립적인지 확인합니다. 같은 사람을 여러 번 측정한 데이터를 독립된 관측값처럼 처리하면 표준오차와 검정 결과가 잘못될 수 있습니다.
• ④ 구형성 (Sphericity): 반복측정 분산분석에서 세 시점 이상을 비교할 때 관련되는 가정입니다. 시점 간 차이의 분산이 동일한지 확인합니다.

모든 분석에 네 가지 가정이 똑같이 적용되는 것은 아닙니다. 그림 1처럼 구형성은 반복측정이 들어간 분석의 가정이며, 일반적인 일원분산분석에는 해당하지 않습니다. 반대로 반복측정 분산분석에서는 같은 사람의 점수끼리는 독립이 아니어도 되고, 서로 다른 사람끼리만 독립이면 됩니다.

정규성은 데이터가 종 모양으로 보이는지만 확인하는 문제가 아닙니다. ANOVA에서는 모형이 설명하지 못한 오차가 적절한 분포를 따르는지가 중요합니다. 이 오차를 데이터로 추정한 값이 잔차이고, 일원분산분석에서는 각 관측값에서 자기 집단의 평균을 뺀 값입니다.

왜 원자료가 아니라 잔차를 볼까요? 2장 예제처럼 세 집단의 평균이 66, 73, 82점으로 다르면, 세 집단을 한데 모은 점수는 봉우리가 여러 개인 모양이 될 수 있습니다. 이것은 정규성 위반이 아니라 집단 차이 때문입니다. 집단 평균을 빼고 나면 이 차이가 사라지고 순수한 흩어짐만 남습니다.

대표적인 진단 방법은 다음과 같습니다.

• Q–Q plot: 관측된 오차의 분위수와 정규분포의 이론적 분위수를 비교합니다.
• 히스토그램: 오차 분포의 비대칭성이나 극단적인 값이 있는지 살펴봅니다.
• Shapiro–Wilk 검정: 정규성에 대한 통계적 검정을 수행합니다.

그림 2는 2장 예제(A·B·C 집단 각 5명)의 잔차 15개를 진단한 것입니다. 히스토그램은 −4에서 4 사이에 고르게 퍼져 있고, Q–Q plot의 점들은 대각선 주변에 놓여 있습니다. Shapiro–Wilk 검정도 p ≈ 0.68로 정규성 위반의 증거가 없습니다.

Q–Q plot 읽는 법: 점들이 대각선 주변에 놓이면 정규분포와 대체로 일치합니다. 체계적인 곡선이나 꼬리 부분의 큰 이탈은 비정규성 가능성을 보여 줍니다. 점들이 한쪽으로 휘는 곡선을 그리면 분포가 한쪽으로 치우친 것이고, 양 끝이 대각선에서 반대 방향으로 벌어지는 S자 모양이면 극단값이 정규분포보다 많은 두꺼운 꼬리입니다.

Shapiro–Wilk 검정의 p값이 0.05보다 작으면 정규성 가정에 어긋난다는 증거가 있습니다. 반대로 p값이 0.05보다 크다고 해서 정규성이 입증되는 것은 아닙니다. 2장 예제처럼 표본이 15개뿐이면 검정이 위반을 찾아낼 힘 자체가 약합니다.

등분산성은 비교하는 집단의 오차 분산이 비슷한지를 의미합니다. 예를 들어 세 교육 프로그램의 시험 점수를 비교할 때 평균이 비슷하더라도 한 집단의 점수는 좁게 모여 있고 다른 집단의 점수는 넓게 퍼져 있을 수 있습니다.

2장 예제의 집단별 분산은 9.5, 5.0, 6.5로 비슷합니다. 그런데 평균은 66, 73, 82점 그대로 두고 C 집단의 점수만 70점부터 94점까지 넓게 퍼뜨리면 분산이 2.5, 2.5, 90이 됩니다. 이처럼 평균이 같아도 퍼짐은 크게 다를 수 있고, ANOVA는 모든 집단의 퍼짐을 하나로 합쳐 집단 내 변동을 계산하므로 이 차이가 결과를 흔들 수 있습니다.

대표적인 검정은 다음과 같습니다.

두 데이터에 Brown–Forsythe 방식의 Levene 검정을 적용하면 2장 예제는 p ≈ 0.84, C 집단을 퍼뜨린 데이터는 p ≈ 0.01입니다. 등분산성 검정의 p값이 0.05보다 작으면 분산이 같다는 가설에 반하는 증거가 있습니다. 그러나 p값만으로 분석 방법을 결정하기보다는 집단별 표본 크기와 분산 차이도 확인해야 합니다.

등분산성이 충족되지 않으면? 일반적인 일원분산분석 대신 Welch 분산분석을 고려할 수 있습니다. Welch ANOVA는 집단별 분산이 다를 수 있는 상황에 대응하도록 설계되었습니다. 분산을 하나로 합치지 않고 집단마다 따로 써서, 퍼짐이 큰 집단의 평균에는 덜 무게를 둡니다.

사후비교에는 Games–Howell 방법을 고려할 수 있습니다. 이 방법은 등분산을 가정하는 Tukey HSD와 달리 집단별 분산과 표본 크기가 다른 상황을 다룹니다. 두 방법의 차이는 4장 사후검정과 다중비교에서 다뤘습니다.

독립성은 정규성이나 등분산성과 달리, 통계검정 하나만으로 충분히 확인하기 어렵습니다. 주로 연구 설계와 데이터 수집 구조를 통해 판단합니다. 다음 상황에서는 독립성 문제가 발생할 수 있습니다.

• 동일한 사람의 사전·사후 점수를 서로 독립적인 관측값으로 처리한 경우
• 같은 학급에 속한 학생들이 서로 유사한 특성을 공유하는 경우
• 같은 환자에게서 여러 차례 측정한 값을 독립 표본으로 취급한 경우
• 동일한 생산 설비에서 연속으로 수집한 관측값에 시간적 상관이 있는 경우

왜 문제가 될까요? 세 학급에서 10명씩 30명을 모았는데 같은 반 학생들의 점수가 서로 비슷하다면, 같은 반 학생 한 명을 더 보는 것은 새로운 학생을 보는 것만큼 새로운 정보를 주지 않습니다. 실제 정보량은 30명보다 적은데 분석은 30개의 독립 정보로 계산하므로, 표준오차가 실제보다 작아지고 p값도 지나치게 작게 나옵니다. 차이가 없는데도 있다고 판단할 위험이 커지는 것입니다.

자료 구조에 따라 다음과 같은 분석을 검토할 수 있습니다.

구형성은 반복측정 분산분석에서 반복측정 요인의 수준이 세 개 이상일 때 중요한 가정입니다. 예를 들어 동일한 학생의 스트레스 점수를 프로그램 시작 전, 중간, 종료 후에 측정했다면 시작 전 − 중간, 시작 전 − 종료 후, 중간 − 종료 후의 세 차이 점수의 분산을 고려합니다. 구형성 가정은 이러한 차이 점수들의 분산이 같다는 조건입니다.

대표적으로 Mauchly의 구형성 검정을 사용합니다.

• p값이 0.05보다 크면 구형성 위반을 발견할 증거가 충분하지 않습니다.
• p값이 0.05보다 작으면 구형성 위반 가능성을 고려해 자유도 보정을 검토합니다.

구형성 검정은 표본 크기에 민감할 수 있으므로 p값만으로 판단하지 않는 것이 좋습니다. 6장 예제에서는 세 차이 점수의 분산이 6.2, 3.7, 18.5로 크게 달라 Mauchly 검정이 p ≈ 0.017로 유의했습니다. 자세한 계산은 6장 반복측정 분산분석에서 다뤘습니다.

구형성이 위반되면? Greenhouse–Geisser 또는 Huynh–Feldt 보정을 적용할 수 있습니다. 이 방법은 검정의 자유도를 조정해 구형성 위반으로 인한 오류 가능성을 줄입니다.

보정 방법은 위반 정도를 나타내는 ε(엡실론)을 계산해 자유도에 곱하는 것입니다. ε은 1이면 구형성이 완벽하게 성립하는 것이고, 작을수록 위반이 심합니다. 6장 예제에서는 ε ≈ 0.52라서 자유도가 (2, 8)에서 (1.04, 4.2)로 줄었습니다. F값은 그대로이지만 자유도가 작아진 만큼 p값이 커지는, 즉 더 보수적인 판단이 됩니다. 이 예제는 효과가 워낙 커서 보정 후에도 p ≈ 0.0003으로 결론이 같았습니다.

결측치가 많거나 측정 시점이 불규칙하다면 반복측정 ANOVA 대신 선형혼합모형이 더 적합할 수도 있습니다.

이상치는 다른 관측값과 크게 다른 값입니다. 이상치가 존재한다고 해서 반드시 잘못된 데이터인 것은 아닙니다. 예를 들어 시험 점수가 대부분 60~90점인데 한 학생의 점수가 10점이라면 입력 오류인지, 실제로 매우 낮은 점수를 받은 것인지 확인해야 합니다.

진단할 때는 다음을 확인합니다.

• 데이터 입력이나 측정 오류 여부
• 집단별 분포와 상자그림
• 잔차와 Q–Q plot
• 특정 관측값을 제외했을 때 결론이 크게 바뀌는지 여부

마지막 항목이 민감도 분석입니다. 세 집단에 6명씩 있고 C 집단에만 10점이 하나 섞인 가상 데이터로 확인해 보겠습니다.

10점을 포함하면 C 집단의 평균은 69.7점으로 세 집단 중 가장 낮고, 분산분석 결과는 p ≈ 0.74로 차이가 없어 보입니다. 10점을 제외하면 C 집단의 평균은 81.6점으로 가장 높아지고, p ≈ 0.004로 뚜렷한 차이가 나타납니다. 관측값 하나가 집단의 순서와 검정 결론을 모두 바꾼 것입니다. 이렇게 결과를 크게 좌우하는 관측값을 영향점이라고 합니다.

이때 결론을 정하는 것은 10점이 입력 오류인지 여부입니다. 오류로 확인되면 바로잡거나 제외하고, 실제 점수라면 그 학생도 연구 대상의 일부입니다. 근거 없이 이상치를 삭제하면 결과가 왜곡될 수 있습니다. 오류가 아니라면 원자료를 유지한 분석과 민감도 분석을 함께 검토하고, 두 결과를 모두 보고하는 것이 바람직합니다.

다음 그림은 진단 결과에 따라 고려할 수 있는 대안을 정리한 것입니다.

비모수 검정이 언제나 정답인 것은 아닙니다. 예를 들어 Kruskal–Wallis 검정은 독립 집단을 대상으로 순위를 비교하며, 일반적인 ANOVA와 동일한 평균 차이를 검정하는 방법은 아닙니다. 순위로 바꾸면 이상치의 영향은 줄지만, “평균 점수가 몇 점 다른가”라는 질문에는 답하지 못합니다. 어떤 대안을 선택할지는 연구 질문과 데이터 구조에 따라 달라집니다.

실제 분석에서는 다음 순서로 점검하면 효율적입니다.

1. 연구 설계 확인: 독립 집단인지, 반복측정인지, 계층적 자료인지 확인
2. 데이터와 이상치 점검: 결측치, 입력 오류, 극단값 및 집단별 분포 확인
3. 모형 가정 진단: 정규성, 등분산성, 독립성 및 해당 분석의 추가 가정 검토
4. 분석 방법과 해석 결정: 필요하면 대안 모형을 선택하고 효과 크기·신뢰구간과 함께 결과 보고

순서에 이유가 있습니다. 독립성은 설계 단계에서만 판단할 수 있고, 이상치는 정규성과 등분산성 진단 결과를 함께 흔들기 때문에 먼저 확인합니다. 그리고 어떤 진단을 했고 어떤 방법을 선택했는지를 결과와 함께 보고해야, 읽는 사람도 결론을 얼마나 믿을지 판단할 수 있습니다.

• 정규성: 잔차의 Q–Q 플롯과 분포로 확인합니다.
• 등분산성: Levene 검정과 집단별 분산을 함께 봅니다.
• 독립성: 통계 검정보다 연구 설계와 자료 수집 방식으로 판단합니다.
• 구형성: 반복측정에서 Mauchly 검정과 ε로 진단합니다.
• 위반 시 대응: Welch ANOVA·Games–Howell, 자유도 보정, 혼합효과모형, 민감도 분석 중 알맞은 대안을 고릅니다.

분산분석의 가정과 진단은 단순히 검정 전에 거치는 형식적인 절차가 아닙니다. 연구 설계와 데이터 구조가 분석 방법에 적합한지 확인하고, 결과를 어느 정도 신뢰할 수 있는지 판단하는 과정입니다.

정규성, 등분산성, 독립성, 구형성은 서로 다른 조건이므로 각각의 의미와 적용 범위를 구분해야 합니다. 가정이 위반되었다면 무조건 데이터를 삭제하거나 분석을 포기하기보다, 연구 질문과 데이터 구조에 맞는 대안을 선택하는 것이 중요합니다.

분산분석 10개 주제를 마치며

분산분석은 전체 변동을 집단 간 변동과 집단 내 변동으로 나누는 하나의 아이디어에서 출발합니다. 독립 · 반복 · 혼합 설계, 요인의 수, 결과변수의 수가 정해지면 모형이 정해지고, 가정 진단과 효과크기, 사후비교가 결과의 해석을 완성합니다.