다변량 평균에 대한 추론

여러 변수를 분석할 때는 각 변수의 평균이 다른지 따로 확인하는 것만으로 충분하지 않을 수 있습니다. 여러 변수의 평균을 하나의 묶음으로 보고, 집단 간 차이가 있는지 검정하는 방법도 필요합니다. 예를 들어 두 교육 프로그램 A와 B의 효과를 비교하면서 시험 점수뿐 아니라 문제 해결 능력과 학습 만족도도 함께 측정했다고 해 보겠습니다. 각 결과를 따로 비교할 수도 있지만, 세 변수를 종합했을 때 두 프로그램의 결과가 전반적으로 다른지도 궁금할 수 있습니다. 이때 쓰는 방법이 다변량 평균에 대한 추론입니다. 이 장에서는 평균벡터의 개념과 Hotelling의 T² 검정(핫텔링의 T 제곱 검정), 그리고 변수를 따로 검정할 때와의 차이를 살펴봅니다.

일변량 분석에서는 하나의 변수에 대한 평균을 비교합니다. 두 집단의 시험 점수 평균이 A 80점, B 85점이라면 차이는 5점이고, 독립표본 t 검정으로 이 차이가 유의한지 판단할 수 있습니다. 하지만 문제 해결 능력과 학습 만족도까지 측정했다면 비교 대상은 평균 하나가 아니라 세 평균을 묶은 평균벡터가 됩니다.

그림 1처럼 A와 B는 세 변수에서 각각 다른 평균을 보입니다. 이 가운데 두 변수만 골라 평면에 그리면, 평균벡터는 점 구름의 중심이고 그 차이는 두 중심을 잇는 화살표가 됩니다.

다변량 평균 검정은 이 차이를 변수별로만 보지 않고, 변수 간 관계까지 고려해 평균벡터 전체의 차이를 검정합니다.

Hotelling의 T² 검정은 여러 변수의 평균벡터를 비교하는 대표적인 방법으로, 일변량 t 검정을 여러 변수로 넓힌 것이라고 이해할 수 있습니다. 대표적인 상황은 두 가지입니다.

• 일표본 Hotelling T²: 한 집단의 평균벡터가 특정 기준값과 다른지 검정합니다. 예: 고객 만족도의 평균벡터가 목표 수준과 다른가
• 독립 두 표본 Hotelling T²: 서로 독립인 두 집단의 평균벡터가 다른지 검정합니다. 예: 두 제품의 가격 만족도 · 품질 만족도 · 재구매 의향 평균벡터 비교

두 집단을 비교할 때의 가설은 다음과 같습니다.

대립가설은 적어도 한 변수에서 평균이 다를 가능성을 포함하지만, 검정 자체는 변수별 차이를 하나씩 판정하지 않고 평균벡터 전체의 차이를 한 번에 평가합니다.

가격 만족도, 품질 만족도, 전반적인 만족도는 서로 관련되어 있을 가능성이 높습니다. 품질 만족도가 높은 고객은 전반적인 만족도도 높게 평가하기 쉽습니다. 각 변수를 완전히 독립된 정보처럼 다루면 실제로 겹치는 정보가 얼마나 되는지 반영하지 못합니다. Hotelling의 T²는 평균벡터의 차이와 공분산 구조를 함께 고려합니다.

이 식의 가운데 부분은 02장의 마할라노비스 거리와 같은 구조입니다. 평균의 차이를 그대로 재지 않고, 변수들이 함께 움직이는 방향과 퍼짐에 맞춰 잰다는 뜻입니다. 그래서 평균 차이의 크기만으로 결과가 정해지지 않습니다.

그림 4의 두 자료는 모두 두 변수가 강하게 함께 움직입니다(상관 0.8). 왼쪽은 두 집단의 차이가 변수들이 원래 함께 움직이는 방향(오른쪽 위)과 같습니다. 이 방향의 차이는 원래 흔한 변동과 구분이 잘 안 되어, 변수별 t 검정은 둘 다 유의한데도(p = 0.032, 0.036) Hotelling의 T²는 p = 0.084로 유의하지 않습니다. 두 변수가 사실상 같은 정보를 두 번 보여 준 셈이기 때문입니다. 오른쪽은 차이가 상관 방향을 거스르는 경우로, 차이는 더 작지만 결과는 정반대입니다.

그림 5처럼 오른쪽 자료는 변수를 하나씩 보면 둘 다 유의하지 않지만(p = 0.23, 0.16), 두 변수를 함께 보면 p < 0.001입니다. 한 변수는 조금 높고 다른 변수는 조금 낮은 조합이, 두 변수가 함께 움직이는 이 자료에서는 매우 드문 패턴이기 때문입니다.

T² 값 자체만으로 유의성을 판단할 수는 없으며, 표본 크기와 변수 개수를 반영해 F 분포로 바꾼 뒤 p값을 계산합니다.

가상의 교육 프로그램 자료를 분석했다고 가정하겠습니다.

유의수준 0.05에서 p값이 0.05보다 작으므로 귀무가설을 기각합니다. 다음과 같이 해석할 수 있습니다.

여기서 주의할 점은 이 결과만으로 어떤 변수가 차이를 만들었는지 알 수 없다는 것입니다. 프로그램 A가 B보다 우수하다고 바로 결론 내릴 수도 없습니다. 각 변수의 평균과 신뢰구간, 후속 분석을 함께 확인해야 합니다.

세 변수를 각각 독립표본 t 검정으로 비교할 수도 있습니다. 하지만 여러 번 검정하면 적어도 하나의 거짓 양성 결과를 얻을 확률이 커집니다.

그림 7처럼 각 검정을 유의수준 5%로 하면, 세 번 검정할 때 적어도 하나가 우연히 유의하게 나올 확률은 1 − 0.95³ ≈ 14.3%로 늘어납니다(검정이 서로 독립이라고 가정할 때).

두 방법 중 어느 것이 항상 더 우수한 것은 아닙니다. 연구 질문이 개별 결과의 차이에 관한 것인지, 여러 결과를 종합한 차이에 관한 것인지에 따라 고릅니다. 3절에서 보았듯이 T²가 유의해도 개별 검정이 모두 유의한 것은 아니고, 반대로 전체 검정이 유의하지 않아도 개별 변수에서 차이가 나타날 수 있습니다. 개별 검정 결과를 보고할 때는 다중검정 보정 여부도 고려합니다.

그림 8의 왼쪽처럼 두 집단의 점 구름이 모양과 방향은 같고 위치만 다르다면 풀링 T²를 쓸 수 있습니다. 오른쪽처럼 한 집단은 비스듬히 길고 다른 집단은 둥글다면, 두 공분산행렬을 하나로 합치는 것이 적절하지 않으므로 다른 접근을 검토합니다.

Hotelling의 T²는 주로 평균벡터 하나를 기준값과 비교하거나 두 집단을 비교할 때 씁니다. 교육 프로그램 A, B, C처럼 세 집단 이상의 평균벡터를 비교하려면 다변량분산분석(MANOVA)을 고려합니다.

MANOVA에서 전체 집단 차이가 유의하면, 후속 분석으로 어떤 결과변수에서, 어떤 집단끼리 차이가 나는지 확인합니다. 이때도 여러 비교를 하므로 다중검정 문제를 고려해야 합니다. MANOVA는 분산분석 09장 「다변량분산분석」에서 자세히 다룹니다.

• 평균벡터는 여러 변수의 평균을 하나의 벡터로 표현한 것입니다.
• Hotelling의 T² 검정은 평균벡터가 기준값과 다른지, 또는 두 집단 사이에 차이가 있는지 검정합니다.
• 변수별 평균 차이뿐 아니라 변수 간 공분산 구조도 고려합니다.
• 유의한 결과는 전체 평균벡터의 차이를 나타내며, 어떤 변수가 차이를 만드는지는 후속 분석이 필요합니다.
• 세 개 이상의 집단을 비교할 때는 MANOVA를 고려합니다.
• 독립성, 다변량 정규성, 공분산행렬의 동질성, 표본 크기와 이상치를 점검해야 합니다.

다음은 05 주성분분석(PCA)입니다. 여러 변수에 담긴 정보를 가능한 한 적게 잃으면서 더 적은 수의 변수로 요약하는 방법으로, 서로 상관된 지표들을 몇 개의 주성분으로 바꾸는 원리와 각 주성분이 정보를 얼마나 설명하는지 알아봅니다.