공분산분석 (ANCOVA)

공분산분석(ANCOVA)은 집단 간 평균을 비교하면서 결과변수에 영향을 줄 수 있는 다른 변수의 영향을 통계적으로 통제하는 분석 방법입니다. 일원분산분석이 집단 평균의 차이를 비교한다면, 공분산분석은 여기에 공변량(covariate)을 추가해 공변량의 영향을 고려한 집단 간 평균 차이를 검정합니다.

예를 들어, 두 가지 교육 프로그램의 효과를 비교할 때 참가자의 교육 전 점수가 서로 다르다면, 교육 후 점수만 비교하는 것으로는 프로그램 효과를 정확하게 평가하기 어려울 수 있습니다. 이때 교육 전 점수를 공변량으로 포함해 교육 후 점수의 집단 간 차이를 분석할 수 있습니다.

공분산분석은 집단 간 차이를 비교할 때 결과에 영향을 미치는 수치형 변수를 함께 고려하고 싶을 때 사용합니다. 예를 들어, 연구자가 두 가지 교육 프로그램의 효과를 비교한다고 가정해 보겠습니다.

• 독립변수: 교육 프로그램 A, B
• 종속변수: 교육 후 시험 점수
• 공변량: 교육 전 시험 점수

프로그램 A에 참여한 학생들이 교육 전부터 시험 점수가 높았다면, 교육 후 점수가 높게 나타나더라도 그 차이가 프로그램의 효과 때문인지 원래의 실력 차이 때문인지 구분하기 어렵습니다. 공분산분석은 교육 전 점수와 교육 후 점수 사이의 관계를 고려해 프로그램별 평균을 비교합니다.

공분산분석이 도움이 되는 경우는 크게 두 가지입니다. 하나는 이 예처럼 집단의 출발점이 달라 그 차이를 보정하고 싶을 때입니다. 다른 하나는 무작위 배정으로 집단의 출발점이 비슷하더라도, 교육 후 점수의 개인차 가운데 교육 전 점수로 설명되는 부분을 빼서 오차를 줄이고 집단 차이를 더 정밀하게 검정하고 싶을 때입니다.

공분산분석을 이해하려면 세 가지 요소를 구분해야 합니다.

• 독립변수 (Factor): 비교하려는 집단을 구분하는 변수입니다. 예를 들어 교육 프로그램 A와 B가 이에 해당합니다.
• 종속변수 (Dependent Variable): 집단 간 차이를 확인하려는 결과입니다. 예를 들어 교육 후 시험 점수입니다.
• 공변량 (Covariate): 종속변수와 관련되어 집단 간 비교에서 함께 고려하는 수치형 변수입니다. 예를 들어 교육 전 시험 점수입니다.

공변량을 고려해 계산한 집단별 평균을 조정평균(adjusted mean)이라고 합니다. 조정평균은 공변량의 영향을 통계적으로 고려한 뒤 비교하는 평균입니다. 쉽게 말해 “모든 참가자의 교육 전 점수가 같았다면 교육 후 평균이 얼마였을까?”를 추정한 값입니다.

다만 조정평균이 모든 교란 요인을 제거하거나 인과관계를 자동으로 증명하는 것은 아닙니다. 어떤 변수를 통제할지, 연구가 어떻게 설계되었는지에 따라 해석이 달라집니다.

한 교육기관이 새로운 교육 프로그램 A와 기존 프로그램 B를 비교했습니다. 참가자들의 교육 전 점수와 교육 후 점수를 측정했습니다. 설명용 가상 데이터입니다.

교육 후 점수만 보면 A가 6점 높습니다. 그러나 A 그룹은 교육 전부터 B 그룹보다 10점 높았습니다. 교육 전 점수를 고려하면 프로그램별 차이가 어떻게 달라지는지 확인할 필요가 있습니다.

이 차이를 확인했다고 해서 교육 효과가 음수라고 결론 내릴 수는 없습니다. 교육 전 점수와 교육 후 점수의 관계를 추정하고, 그 관계를 고려해 조정평균과 집단 효과를 계산해야 합니다.

실제 ANCOVA에서는 교육 전 점수가 교육 후 점수와 어떤 관계를 갖는지, 두 프로그램에서 그 관계가 비슷한지 등을 고려해 분석합니다. 따라서 교육 전후 평균의 차이를 단순히 빼는 방식과 ANCOVA는 동일하지 않습니다.

예를 들어 점수가 오른 정도만 보면 A는 8점, B는 12점 올랐습니다. 하지만 이것도 “교육 전 점수 1점이 교육 후 점수 1점으로 그대로 이어진다”고 가정한 비교입니다. ANCOVA는 이 관계의 크기를 자료에서 직접 추정한다는 점이 다릅니다. 다음 SECTION에서 이 차이를 숫자로 확인해 보겠습니다.

공분산분석은 일반적으로 다음과 같은 선형모형으로 표현할 수 있습니다.

• Y_ij: 참가자의 교육 후 점수
• μ: 전체 평균을 나타내는 기준값
• τ_i: 교육 프로그램 집단의 효과
• X_ij: 참가자의 교육 전 점수
• X̄: 전체 참가자의 교육 전 평균
• β: 교육 전 점수와 교육 후 점수의 관계를 나타내는 회귀계수
• ε_ij: 모형으로 설명되지 않는 오차

이 모형은 교육 전 점수와 교육 후 점수의 관계를 고려하면서 프로그램 집단 간 차이를 추정합니다.

조정평균은 이 모형으로 “교육 전 점수가 전체 평균(이 예에서는 두 집단의 인원이 같다고 보고 75점)이었다면”의 교육 후 점수를 계산한 것입니다. 각 집단의 교육 전 평균이 75점에서 떨어진 만큼, 기울기 β를 곱해 교육 후 평균을 조정합니다.

위 표에는 기울기 정보가 없으므로, 예시로 β = 0.3(교육 전 1점이 높을수록 교육 후 0.3점이 높음)이라고 해 보겠습니다. 그러면 A의 조정평균은 86.5점, B는 83.5점이 되어 차이가 6점에서 3점으로 줄어듭니다.

조정 폭은 β에 따라 크게 달라집니다. 같은 평균이라도 β가 0이면 차이는 그대로 +6점이고, β가 0.6이면 0점, β가 1이면 오히려 B가 4점 높아집니다. 그래서 ANCOVA에서는 β를 임의로 정하지 않고, 각 집단 안에서 교육 전 점수와 교육 후 점수가 함께 움직이는 정도를 자료로 추정해 사용합니다.

공변량의 회귀계수가 집단마다 다를 수 있다면 위와 같은 단순한 공통 기울기 모형만으로는 충분하지 않을 수 있습니다. 이때는 집단과 공변량의 상호작용을 검토해야 합니다.

ANCOVA 결과에서는 보통 다음을 확인합니다.

예를 들어, 교육 전 점수를 통제한 후에도 프로그램 A와 B의 차이가 통계적으로 유의하다면, 교육 전 점수의 영향을 고려한 뒤에도 집단 간 차이가 있다는 근거가 됩니다.

결과표에서는 공변량(교육 전 점수)에 대한 검정도 함께 나옵니다. 이 검정이 유의하다는 것은 교육 전 점수가 교육 후 점수와 관련이 있다는 뜻일 뿐, 그 자체가 연구 질문의 답은 아닙니다. 연구 질문의 답은 공변량을 고려한 뒤의 집단 효과와 조정평균의 차이에 있습니다.

보고서에는 다음과 같이 작성할 수 있습니다.

실제 보고서에서는 집단 효과의 F 통계량, 자유도, 정확한 p값, 조정평균과 신뢰구간을 제시해야 합니다. 위 문장은 결과가 유의한 경우에 사용할 수 있는 예시이며, 실제 데이터 없이 유의성을 단정할 수는 없습니다.

ANCOVA에서는 일반적인 분산분석의 가정뿐 아니라 공변량과 관련된 조건도 확인해야 합니다.

• 독립성: 관측값이 서로 독립적이어야 합니다.
• 잔차의 정규성: 모형의 잔차가 대체로 정규분포를 따라야 합니다.
• 등분산성: 집단 간 잔차 분산이 비슷해야 합니다.
• 선형성: 공변량과 종속변수 사이의 관계가 적절하게 선형모형으로 표현되어야 합니다.
• 회귀기울기의 동질성: 공통 기울기 ANCOVA를 사용하는 경우 공변량과 종속변수의 관계가 집단마다 동일하다는 가정이 필요합니다.

앞의 세 가지는 분산분석과 같은 가정이며, 자세한 점검 방법은 11장 분산분석의 가정과 대안에서 다룹니다. 여기서는 공변량과 관련된 뒤의 두 가지가 핵심입니다.

특히 회귀기울기의 동질성은 중요합니다. 교육 전 점수가 1점 높아질 때 교육 후 점수가 증가하는 정도가 프로그램 A와 B에서 크게 다르다면, 하나의 공통 회귀계수를 사용하는 모형은 적절하지 않을 수 있습니다. 이 경우 집단과 공변량의 상호작용을 포함한 모형을 검토할 수 있습니다.

그림 4의 오른쪽처럼 기울기가 크게 다르면, 교육 전 점수가 낮은 쪽과 높은 쪽에서 두 프로그램의 차이가 서로 다르게 나타납니다. 이때 “조정평균의 차이” 하나로 결과를 요약하면 오해를 부를 수 있습니다. 확인할 때는 모형에 ‘프로그램 × 교육 전 점수’ 상호작용을 넣어 보고, 이 상호작용이 크거나 유의하다면 교육 전 점수 수준별로 프로그램 차이를 나누어 해석합니다.

또한 공변량은 연구 설계와 분석 목적에 맞게 선택해야 합니다. 프로그램 참여 이후에 발생한 변수를 무조건 통제하면 오히려 프로그램 효과의 해석이 왜곡될 수 있습니다. 공변량은 원칙적으로 집단 배정이나 처치 이전에 측정한 변수를 사용합니다. 교육 전 점수는 이 조건을 만족하지만, 교육 중에 생긴 변수는 프로그램의 영향을 이미 받았을 수 있어 통제하면 프로그램 효과의 일부까지 함께 빠질 수 있습니다.

다음과 같은 연구에서 ANCOVA를 고려할 수 있습니다.

• 교육 프로그램을 비교하면서 사전 시험 점수를 고려하려는 경우
• 치료 또는 중재 집단의 결과를 비교하면서 기초 측정값을 고려하려는 경우
• 고객 집단을 비교하면서 구매 전 지출 수준과 같은 관련 변수를 통제하려는 경우

단, 공변량을 포함하는 것이 언제나 더 좋은 분석을 의미하지는 않습니다. 연구 질문, 변수의 측정 시점, 집단 배정 방식과 모형 가정을 함께 고려해야 합니다.

특히 집단이 무작위로 배정되지 않은 연구에서는 공분산분석으로 측정한 변수의 차이만 보정할 수 있습니다. 측정하지 않은 다른 차이(동기, 환경 등)는 그대로 남아 있으므로, 조정평균의 차이를 곧바로 프로그램의 인과 효과로 해석하기는 어렵습니다.

• 목적: 집단 평균을 비교하면서 결과와 관련된 수치형 공변량을 통제합니다.
• 조정평균: 공변량이 모두 같았다면 얻었을 집단 평균으로 비교합니다.
• 공통 기울기: 기울기가 집단마다 비슷한지(회귀 기울기 동질성)를 확인합니다.
• 공변량 시점: 공변량은 처치 이전에 측정한 변수여야 합니다.
• 인과 해석: 무작위 배정이 없으면 측정하지 않은 차이는 그대로 남습니다.

공분산분석은 집단 간 평균을 비교하면서 결과와 관련된 수치형 공변량의 영향을 고려하는 방법입니다. 핵심은 공변량을 고려한 조정평균과 집단 효과를 해석하는 것입니다.

다음 주제인 반복측정 분산분석(Repeated-Measures ANOVA)에서는 동일한 사람이나 대상을 여러 시점 또는 조건에서 측정한 데이터를 어떻게 분석하는지 살펴봅니다.