공분산분석(ANCOVA)

어떤 교수법이 시험 성적을 더 높일까요? 실습식 수업을 들은 학생들의 최종 점수가 가장 높더라도 처음부터 공부를 잘하던 학생들이 많았다면 어떨까요? 수업 전 수준을 고려한 뒤에도 같은 차이가 남아 있을까요?

이처럼 집단 간 평균 차이를 비교하면서 결과에 영향을 줄 수 있는 연속형 변수를 함께 고려하는 방법이 공분산분석(ANCOVA)입니다. 단순한 평균 비교에서 한 걸음 더 나아가 공통 기준에서의 집단 차이를 살펴봅니다.

일원분산분석은 집단별 평균을 직접 비교하지만 ANCOVA는 사전 점수처럼 결과와 관계있는 공변량의 영향을 조정합니다. 다만 공변량을 통계적으로 통제한다고 해서 연구에서 발생할 수 있는 모든 편향이 없어지는 것은 아닙니다.

교육 효과 평가, 보건 연구, 심리 실험, 마케팅 연구 등에서 활용됩니다. 이번 글에서는 세 교수법과 사전 시험 점수를 예제로 조정평균, 회귀기울기 동질성, 결과표 해석, 후속 비교와 주의사항을 살펴보겠습니다.

공분산분석(Analysis of Covariance, ANCOVA)은 집단 간 평균 차이를 비교하면서 연속형 공변량(covariate)의 영향을 통계적으로 조정하는 방법입니다. 집단별 원래 평균뿐 아니라 공변량을 같은 기준으로 놓았을 때의 조정평균(adjusted mean)을 비교합니다.

실습식 수업 학생들의 최종 점수가 높다고 해도, 처음부터 학업성취도가 높았을 가능성이 있습니다. 사전 점수를 함께 고려하지 않으면 이 차이를 교수법 효과와 혼동할 수 있습니다.

ANCOVA는 사전 점수와 최종 점수의 관계를 추정한 후, 집단별 사전 점수가 같은 값이라고 가정할 때의 최종 점수를 비교합니다. 다만 통계적 조정만으로 집단 배정에서 생긴 모든 편향이 사라지는 것은 아닙니다.

공변량은 결과와 관련이 있으면서 교육 방법의 영향을 받기 전에 측정된 사전 특성을 사용하는 것이 일반적입니다. 교육 후에 영향을 받아 변한 변수를 무심코 통제하면 해석이 왜곡될 수 있습니다.

가상의 대학생 120명을 강의식·토론식·실습식 수업에 각각 40명씩 배정했습니다. 수업 시작 전 사전 시험 점수와 수업 종료 후 최종 시험 점수를 기록했다고 가정합니다. 아래 값은 설명을 위한 가상 요약치이며, 검정 통계량을 계산한 실제 분석 결과는 아닙니다.

세 집단의 사전 평균이 60·64·68점으로 다르면 최종 평균 70·78·84점을 그대로 비교하는 데 한계가 있습니다. ANCOVA에서는 보통 전체 표본의 공변량 평균 등 공통 기준을 정하고, 그 값에서 집단별 예측 최종 점수를 계산합니다.

가장 기본적인 모형은 최종 점수를 종속변수로 두고 교수법과 사전 점수를 함께 투입합니다. 최종 점수 = 절편 + 교수법 효과 + 사전 점수의 회귀효과 + 오차로 이해할 수 있습니다.

교수법별 효과는 같은 사전 점수 수준에서 최종 점수가 얼마나 다른지를 나타냅니다. 이를 위해서는 세 집단에서 사전 점수에 따른 기울기가 같다는 가정이 중요합니다.

기본 ANCOVA는 집단마다 사전 점수가 1점 높아질 때 최종 점수가 증가하는 기울기가 같다고 가정합니다. 먼저 교수법 × 사전 점수 상호작용을 검토하여 기울기가 크게 다른지 확인할 수 있습니다.

기울기가 서로 다르다면 모든 사전 점수에서 일정한 집단 간 조정평균 차이를 말하기 어려울 수 있습니다. 이때는 상호작용을 포함한 회귀모형이나 사전 점수 수준별 집단 비교 등으로 해석을 바꿔야 합니다.

결과표에서는 공변량을 통제한 교수법의 F값, 자유도, p값, 효과크기를 중심으로 확인합니다. 사전 점수의 회귀효과, 집단별 조정평균과 신뢰구간도 함께 제시합니다.

가상의 집단별 평균만으로 F값이나 p값, 조정평균을 계산할 수 없으므로 임의의 검정값은 제시하지 않습니다.

ANCOVA의 교수법 효과가 유의하다면 강의식–토론식, 강의식–실습식, 토론식–실습식의 조정평균 차이를 비교할 수 있습니다. 각 차이의 95% 신뢰구간과 다중비교 보정 결과를 함께 제시합니다.

독립성·잔차 정규성·분산 동질성

관측값이 독립적인지, 모형 잔차의 분포가 지나치게 비대칭적이지 않은지, 집단별 잔차 분산이 크게 다른지 확인합니다. 이상치가 회귀 기울기에 과도한 영향을 미치는지도 점검합니다.

공변량과 결과의 선형 관계

사전 점수와 최종 점수 사이에 대체로 선형 관계가 있는지 확인합니다.

공변량의 집단별 범위 겹침

사전 점수 분포가 거의 겹치지 않는 집단끼리 비교하면 조정평균이 관측되지 않은 구간으로 외삽될 수 있습니다.

공변량의 측정과 선정

사전 점수의 측정 오차가 크거나 교육 후에 영향을 받은 변수를 공변량으로 사용하면 해석에 문제가 생길 수 있습니다.

ANCOVA는 별개의 계산 체계라기보다는 집단변수와 공변량을 포함한 선형모형의 한 형태입니다. 단순히 교육 전후 차이를 계산하는 것과도 같지 않습니다.

먼저 각 집단의 표본 수와 사전·사후 점수의 기술통계를 제시한 다음, 공변량의 정의와 회귀기울기 동질성 점검 결과를 보고합니다. 이후 조정평균, 95% 신뢰구간, 집단 효과의 F값·p값·효과크기, 필요한 사후비교를 순서대로 기술합니다.

실제 결과를 얻은 뒤에는 F(2, [오차 자유도]) = [분석값], p = [분석값], 부분 η² = [분석값]처럼 보고합니다. 현재 예제의 표본 요약치만으로는 검정값을 정할 수 없습니다.

무작위 배정 연구에서는 기초값을 조정해 정밀도를 높일 수 있으며, 관찰연구에서는 공변량을 통제하더라도 측정하지 않은 교란 요인이 남을 수 있습니다.

교수법별 최종 점수를 비교할 때 사전 시험 점수가 다르면 단순 평균만으로 수업 방식의 차이를 설명하기 어렵습니다. ANCOVA는 사전 점수와 최종 점수의 관계를 고려해 각 교수법의 조정평균을 추정합니다. 따라서 집단별 평균과 조정평균이 어떻게 다른지, 비교 기준이 무엇인지를 함께 확인해야 합니다.

해석하기 전에는 공변량과 결과의 관계, 회귀기울기 동질성, 잔차 가정, 집단별 공변량 분포가 충분히 겹치는지 살펴봐야 합니다. 집단 간 조정평균 차이가 유의하다면 후속 비교를 진행할 수 있지만, 관찰자료에서는 공변량 조정만으로 인과효과가 확정되는 것은 아닙니다.