사후검정과 다중비교

사후검정은 분산분석에서 집단 간 평균 차이가 확인된 뒤, 구체적으로 어떤 집단과 어떤 집단 사이에 차이가 있는지 확인하는 분석 방법입니다. 다중비교는 여러 집단이나 조건을 반복해서 비교할 때 발생하는 제1종 오류(Type I error)의 증가를 다루는 개념입니다. 사후검정은 다중비교 문제를 고려해 집단 간 차이를 평가하는 대표적인 방법입니다.

예를 들어, 세 가지 교육 방식의 시험 점수를 비교한 분산분석에서 유의한 결과가 나왔다고 가정해 보겠습니다. 전체적으로 평균 차이가 있다는 것은 알 수 있지만, 강의식과 온라인 교육의 차이가 유의한지, 온라인과 실습 중심 교육의 차이가 유의한지는 별도로 확인해야 합니다.

세 집단의 평균을 비교한다고 가정해 보겠습니다. 평균 점수만으로는 각 집단 간 차이가 통계적으로 유의한지 알 수 없습니다. 세 집단을 비교하면 다음과 같이 세 쌍의 비교가 가능합니다.

• A와 B
• A와 C
• B와 C

분산분석의 전체 검정은 세 집단의 모집단 평균이 모두 같다는 가설을 검정합니다. 결과가 유의하더라도 모든 쌍의 평균이 서로 다르다는 뜻은 아닙니다. 따라서 사후검정을 통해 각 비교의 차이와 통계적 유의성을 확인합니다.

비교할 쌍의 수는 집단이 늘어날수록 빠르게 많아집니다. 집단이 3개면 3쌍이지만, 4개면 6쌍, 5개면 10쌍입니다. 일반적으로 집단이 k개라면 k × (k − 1) ÷ 2쌍을 비교하게 됩니다.

비교가 많아질수록 아래 SECTION 02에서 설명하는 오류 문제가 커지기 때문에, 사후검정은 단순히 쌍마다 t검정을 하는 것이 아니라 비교 횟수를 고려해 판단 기준을 조정합니다.

각 검정을 유의수준 0.05로 수행하면, 귀무가설이 참인 상황에서도 우연히 유의한 결과가 나올 가능성이 있습니다. 이러한 오류를 제1종 오류라고 합니다. 검정을 여러 번 수행하면 적어도 한 번 잘못된 유의성 결론을 내릴 확률이 커질 수 있습니다.

모든 검정이 서로 독립이고 모든 귀무가설이 참이라고 단순화하면, m번의 검정에서 적어도 한 번 제1종 오류가 발생할 확률은 다음과 같습니다.

예를 들어 유의수준 0.05로 독립적인 검정을 3회 수행하면, 적어도 한 번 오류가 발생할 확률은 약 14.3%입니다.

그림 2처럼 검정이 늘어날수록 확률은 빠르게 커집니다. 집단이 4개라 6쌍을 비교하면 약 26.5%, 5개라 10쌍을 비교하면 약 40.1%에 이릅니다. 실제로는 아무 차이가 없어도 열 번 중 네 번꼴로 “어딘가 차이가 있다”는 잘못된 결론이 나올 수 있다는 뜻입니다.

이렇게 여러 검정을 하나의 묶음(가족)으로 보았을 때 적어도 하나에서 제1종 오류가 생길 확률을 가족단위 오류율(FWER, family-wise error rate)이라고 합니다. 사후검정과 다중비교 보정의 목표는 이 확률을 처음 정한 유의수준(예: 0.05) 정도로 묶어 두는 것입니다.

실제 집단 간 비교는 서로 독립적이지 않을 수 있으므로 이 값이 항상 정확하게 적용되는 것은 아닙니다. 다만 검정 횟수가 증가할수록 오류 관리가 중요해진다는 점을 이해하기 위한 예시입니다.

다중비교 보정은 이러한 문제를 줄이기 위해 비교 방법이나 유의성 판단 기준을 조정하는 절차입니다.

사후검정은 비교 목적, 표본 구성, 분산의 특성에 따라 선택합니다.

① Tukey HSD

모든 집단 쌍의 평균을 비교할 때 널리 사용합니다. 일반적인 일원분산분석의 등분산 가정 아래 전체 쌍별 비교의 가족단위 오류율(FWER)을 통제합니다. 적합한 상황: 모든 집단 간 비교가 연구 목적일 때.

② Bonferroni 보정

비교 횟수를 고려해 각 검정의 유의성 기준을 조정하거나 p값을 보정합니다. 비교할 항목이 사전에 정해져 있는 경우에도 활용할 수 있습니다. 특징: 이해하기 쉽지만 비교 횟수가 많으면 보수적일 수 있음.

③ Games–Howell

집단별 분산이 같지 않거나 표본 크기가 서로 다른 상황에서 쌍별 평균을 비교할 때 고려합니다. 일반적인 등분산 가정의 Tukey HSD와 달리 이분산 상황을 고려합니다. 적합한 상황: Welch 분산분석 이후의 쌍별 비교 등.

④ Holm 보정

여러 검정의 p값을 순서대로 조정해 가족단위 오류율을 통제합니다. Bonferroni보다 검정력이 높은 경우가 많습니다. 적합한 상황: 여러 개의 계획된 비교 또는 다중검정 결과를 보정할 때.

이외에도 Dunnett 검정은 여러 처리 집단을 하나의 대조군과 비교할 때 유용합니다. 모든 집단 쌍을 비교할 필요가 없다면 연구 질문에 맞는 비교 방법을 선택하는 것이 좋습니다.

Bonferroni와 Holm은 어떻게 다를까?

세 번 비교해 보정 전 p값이 0.010, 0.020, 0.040이 나왔다고 가정해 보겠습니다(설명용 숫자).

Bonferroni는 모든 비교에 같은 엄격한 기준(0.05 ÷ 비교 횟수)을 적용합니다. Holm은 p값을 작은 순서로 줄 세운 뒤, 가장 작은 p값에는 Bonferroni와 같은 기준을, 다음 p값부터는 조금씩 느슨한 기준을 적용합니다. 중간에 기준을 넘지 못하는 p값이 나오면 그 뒤는 모두 유의하지 않은 것으로 봅니다. 가족단위 오류율은 똑같이 통제하면서 더 많은 차이를 찾아낼 수 있어 Holm이 흔히 권장됩니다.

다음은 세 교육 방식의 점수를 비교한 가상의 Tukey HSD 결과입니다. 설명용 예시이며 실제 데이터에서 계산한 결과는 아닙니다.

이 표는 해석 방법을 보여주기 위한 가상 결과로, 2장(일원분산분석)의 예제 데이터로 계산한 결과와는 다릅니다.

이 결과에서는 다음과 같이 해석할 수 있습니다.

• 강의식 교육 A와 온라인 교육 B 사이에서는 통계적으로 유의한 차이가 확인되지 않았습니다.
• 강의식 교육 A는 실습 중심 교육 C보다 평균 점수가 유의하게 낮았습니다.
• 온라인 교육 B도 실습 중심 교육 C보다 평균 점수가 유의하게 낮았습니다.

따라서 실습 중심 교육 C는 두 교육 방식보다 높은 평균 점수를 보였으며, 두 비교에서 통계적으로 유의한 차이가 나타났습니다.

표의 보정 p값은 세 번 비교했다는 점을 반영해 조정한 p값입니다. 그래서 0.05와 그대로 비교하면 됩니다. 평균 차이의 부호는 앞 집단에서 뒤 집단을 뺀 방향을 뜻합니다. A vs. C가 −16점이라는 것은 A가 C보다 16점 낮다는 의미입니다. 또한 A vs. B처럼 7점 차이가 유의하지 않다고 해서 두 방식이 같다는 뜻은 아닙니다. 이 표본으로는 차이를 확신할 근거가 부족하다는 뜻입니다.

다만 유의한 차이가 있다는 사실만으로 교육 효과가 실무적으로 크다고 판단할 수는 없습니다. 평균 차이의 크기, 신뢰구간, 효과크기와 연구 설계를 함께 고려해야 합니다.

항상 그런 것은 아닙니다. 분석 목적에 따라 달라집니다.

• 탐색적인 집단 비교: 전체 분산분석 결과가 유의한 경우 사후검정을 진행하는 방식이 일반적입니다.
• 사전에 계획한 비교: 연구 시작 전에 정한 특정 대비(planned contrasts)는 전체 F 검정이 유의하지 않더라도 연구 목적에 따라 검정할 수 있습니다. 다만 여러 비교를 수행한다면 적절한 오류 통제가 필요합니다.
• 비등분산 자료: 일반적인 ANOVA와 Tukey HSD 대신 Welch 분산분석과 Games–Howell 등 자료 특성에 맞는 방법을 검토합니다.

즉, 전체 검정이 유의하지 않았다는 이유만으로 모든 후속 비교가 언제나 금지되는 것은 아닙니다. 사후적으로 여러 비교를 탐색하는 것과 사전에 설정한 가설을 검정하는 것은 구분해야 합니다.

두 경우를 구분하는 이유는 간단합니다. 결과를 본 뒤에 차이가 커 보이는 쌍만 골라 검정하면, 우연히 크게 나온 차이를 찾아내는 셈이 되어 제1종 오류가 커집니다. 반면 “실습 중심 교육이 나머지 두 방식보다 효과적일 것이다”처럼 자료를 보기 전에 정한 비교는 그런 선택이 개입하지 않으므로 별도로 검정할 근거가 있습니다. 어떤 비교를 계획했는지는 연구계획서나 사전 등록 등으로 미리 기록해 두는 것이 좋습니다.

방법은 세 가지 질문으로 좁혀 볼 수 있습니다. 어떤 비교가 필요한가요? 집단 간 분산은 어떤가요? 계획한 비교의 보정이 필요한가요?

• 모든 집단 쌍을 비교하고 분산이 비슷하다면 Tukey HSD를 검토하세요. 모든 집단 쌍을 비교하면서 가족단위 오류율을 통제하는 대표적인 방법입니다.
• 모든 쌍을 비교하는데 분산이나 표본 크기가 다르다면 Welch 분산분석과 함께 Games–Howell을 검토합니다.
• 여러 처리 집단을 하나의 대조군과 비교한다면 Dunnett 검정이 적합합니다. 필요한 비교만 하므로 모든 쌍을 비교할 때보다 검정력이 높습니다.
• 사전에 정한 일부 비교만 한다면 그 비교들만 검정하고 Holm(또는 Bonferroni)으로 보정합니다.
• 분산을 아직 확인하지 않았다면 집단별 표준편차와 상자그림부터 확인한 뒤 위의 기준을 적용합니다.

이 추천은 일반적인 선택 기준입니다. 표본 크기, 설계의 균형성, 검정 가정과 연구 목적에 따라 최종 방법을 결정해야 합니다.

사후검정 결과는 전체 분산분석 결과와 구분해 보고하는 것이 좋습니다. 예를 들어 다음과 같이 작성할 수 있습니다.

실제 논문이나 보고서에서는 여기에 F 통계량, 자유도, p값, 집단별 평균과 표준편차, 사후검정의 평균 차이와 신뢰구간 등을 추가하면 결과를 더 명확하게 전달할 수 있습니다.

특히 어떤 사후검정을 왜 선택했는지를 함께 적으면, 독자가 결과의 신뢰도를 판단하는 데 도움이 됩니다.

• 분산분석: 전체 집단 평균에 차이가 있는지 검정합니다.
• 사후검정: 어떤 집단 사이에 차이가 있는지 확인합니다.
• 다중비교 보정: 여러 검정을 수행하면서 잘못된 유의성 결론이 나올 위험을 통제합니다.
• 방법 선택: 모든 쌍 비교인지, 대조군 비교인지, 등분산성이 충족되는지에 따라 적절한 방법이 달라집니다.

다음은 공분산분석(ANCOVA)입니다. 집단 평균을 비교하면서 나이, 사전 점수처럼 결과에 영향을 줄 수 있는 다른 수치형 변수를 통제하는 방법을 살펴봅니다.