다변량 자료와 공분산행렬

다변량 분석에서는 여러 변수를 동시에 살펴봅니다. 이때 각 변수가 얼마나 퍼져 있는지뿐 아니라, 두 변수가 함께 증가하거나 감소하는 경향이 있는지도 중요합니다. 예를 들어 고객의 가격 평가, 품질 평가, 만족도를 분석할 때, 품질 평가가 높은 고객이 만족도도 높게 평가하는 경향이 있다면 두 변수 사이에 양의 공분산이 나타납니다. 이러한 변수들의 분산과 공분산을 표 형태로 정리한 것이 공분산행렬(Covariance Matrix)입니다.

• 분산(Variance): 하나의 변수가 평균을 중심으로 얼마나 퍼져 있는지 나타냅니다.
• 공분산(Covariance): 두 변수가 평균에서 벗어나는 방향으로 얼마나 함께 움직이는지 나타냅니다.

그림 1의 왼쪽처럼 분산은 점수가 평균 주변에 모여 있는지, 넓게 퍼져 있는지를 나타내며, 퍼짐이 클수록 커집니다. 오른쪽처럼 공분산은 두 변수가 함께 높아지는지(양), 한 변수가 높아질 때 다른 변수가 낮아지는지(음)를 나타냅니다.

공분산은 두 변수가 함께 움직이는 방향을 파악하는 데 유용하지만, 값의 크기만으로 관계의 강도를 비교하기는 어렵습니다. 측정 단위의 영향을 받기 때문입니다. 예를 들어 같은 사람들의 키와 몸무게라도 키를 cm로 재면 공분산이 106.2이고, m로 재면 1.06로 100분의 1이 됩니다. 관계는 그대로인데 숫자만 바뀐 것입니다(상관계수는 두 경우 모두 0.99).

다섯 명의 고객이 평가한 품질 점수가 2, 3, 3, 4, 8이라고 하겠습니다. 먼저 평균을 계산합니다.

각 점수에서 평균을 뺀 편차를 구하고, 이를 제곱해 더합니다.

편차를 그냥 더하면 항상 0이 되므로(위 표의 합계), 방향을 없애기 위해 제곱합니다. 그림 2의 아래처럼 편차 제곱을 넓이로 그려 보면, 평균에서 가장 멀리 떨어진 E 한 명(16)이 전체 22 가운데 대부분을 차지합니다. 분산이 극단값에 민감한 이유입니다.

n − 1로 나누는 것은 모집단 분산을 표본으로 추정할 때 쓰는 일반적인 표본분산의 정의입니다. 모집단 전체를 관측한 경우에는 n으로 나눕니다.

이번에는 품질 점수(X)와 만족도(Y)를 함께 살펴보겠습니다. 만족도는 순서대로 1, 2, 4, 3, 5이고, 평균은 X̄ = 4, Ȳ = 3입니다. 표본공분산은 두 변수의 편차를 각각 구한 뒤, 같은 고객의 편차끼리 곱해 더합니다.

편차 곱의 부호가 핵심입니다. A처럼 두 점수가 모두 평균보다 낮거나(− × −), E처럼 모두 높으면(+ × +) 곱은 양수입니다. C처럼 한쪽은 평균보다 낮고 다른 쪽은 높으면 곱은 음수입니다. 공분산이 양수(3)이므로 이 자료에서는 품질 점수가 평균보다 높은 고객이 만족도도 평균보다 높은 경향이 전반적으로 나타납니다. 다만 C 고객처럼 반대 패턴을 보이는 경우도 있습니다.

• 양의 공분산: 한 변수가 평균보다 높을 때 다른 변수도 평균보다 높은 경향이 있습니다. 예: 공부 시간이 긴 학생일수록 시험 점수가 높은 경향
• 음의 공분산: 한 변수가 평균보다 높을 때 다른 변수는 평균보다 낮은 경향이 있습니다. 예: 제품 가격이 높을수록 구매 의향이 낮아지는 경향
• 0에 가까운 공분산: 선형적인 공동 움직임이 뚜렷하지 않을 수 있습니다.

단, 공분산이 0이라고 해서 두 변수가 반드시 독립인 것은 아닙니다.

그림 4는 Y = X²인 자료입니다. X를 알면 Y가 정확히 정해지는 완벽한 관계지만, 왼쪽 절반의 음의 움직임과 오른쪽 절반의 양의 움직임이 상쇄되어 공분산은 0입니다. 공분산은 직선 형태의 공동 움직임만 잡아내기 때문입니다. 또한 공분산이 10인 관계가 2인 관계보다 반드시 더 강하다고 할 수도 없습니다. 단위와 값의 범위에 따라 크기가 달라지기 때문입니다.

변수가 두 개면 공분산 하나만 계산하면 됩니다. 그러나 변수가 세 개, 네 개 또는 그 이상이면 각 변수의 분산과 모든 변수 쌍의 공분산을 함께 정리해야 합니다. 이를 행렬로 나타낸 것이 공분산행렬입니다. 변수가 p개이면 p × p 행렬이 됩니다.

공분산은 변수 쌍의 순서를 바꿔도 같으므로 s_ij = s_ji이고, 따라서 공분산행렬은 대각선을 기준으로 위아래가 같은 대칭행렬입니다. 고객의 가격 평가, 품질 평가, 만족도로 다음 표본 공분산행렬을 얻었다고 가정해 보겠습니다.

• 대각선: 가격 평가의 분산 4, 품질 평가의 분산 9, 만족도의 분산 5
• 대각선 밖: 가격–품질 공분산 1.5, 가격–만족도 2.0, 품질–만족도 3.0

이 예시에서는 모든 변수 쌍의 공분산이 양수입니다. 다만 공분산 숫자만 보고 어느 관계가 가장 강한지 판단하기는 어렵습니다. 이를 위해 단위의 영향을 없앤 상관행렬을 함께 봅니다.

공분산행렬을 상관행렬로 바꾸려면 각 공분산을 두 변수의 표준편차 곱으로 나눕니다.

3절 자료에서 만족도의 분산은 편차 제곱합 10을 4로 나눈 2.5이므로, 품질과 만족도의 상관계수는 약 0.81로 강한 양의 선형 관계입니다. 5절의 예시 행렬에도 같은 변환을 적용해 보겠습니다.

그림 6처럼 공분산만 보면 품질–만족도(3.0)가 가격–만족도(2.0)보다 1.5배 강해 보입니다. 그런데 상관으로 바꾸면 둘 다 0.45로 같습니다. 품질 평가의 분산(9)이 가격 평가(4)보다 커서 공분산 숫자가 부풀어 보였을 뿐입니다. 공분산의 크기로 관계의 강도를 비교하면 안 되는 이유입니다.

공분산행렬은 원래 척도에서의 변동을 보여 주고, 상관행렬은 표준화된 척도에서 관계를 비교하기에 유용합니다.

공분산행렬은 분산과 공분산을 모아 놓은 표에 그치지 않고, 여러 다변량 분석의 기본 입력이 됩니다.

그림 7의 P와 Q는 중심에서 직선거리가 같습니다. 하지만 자료가 오른쪽 위로 비스듬히 퍼져 있으므로, 그 방향에 놓인 P는 흔한 위치이고 퍼짐을 거스르는 Q는 매우 드문 위치입니다. 마할라노비스 거리는 공분산행렬로 이 차이를 반영해 P는 약 1.5, Q는 약 5.1로 계산합니다. 다변량 이상치를 찾을 때 이 거리를 씁니다.

특히 변수 수가 표본 수보다 많거나 변수 사이에 완벽한 선형 종속성이 있으면 표본 공분산행렬의 역행렬을 계산할 수 없습니다. 이는 마할라노비스 거리나 일부 다변량 추론에서 중요한 문제가 됩니다.

• 분산은 개별 변수의 값이 평균을 중심으로 얼마나 흩어져 있는지 나타냅니다.
• 공분산은 두 변수가 함께 변하는 방향과 정도를 나타냅니다. 양수이면 같은 방향으로, 음수이면 반대 방향으로 움직이는 경향이 있습니다.
• 공분산행렬은 대각선에 각 변수의 분산을, 나머지 위치에 변수 간 공분산을 배치한 대칭행렬입니다.
• 공분산은 변수의 측정 단위에 영향을 받으므로, 관계의 강도를 비교할 때는 상관행렬을 사용하는 것이 적절합니다.
• 공분산행렬은 PCA, 다변량 정규분포, 마할라노비스 거리 등 다양한 다변량 분석의 기초가 됩니다. 분석 전에는 표본 크기, 결측값, 이상치, 변수 간 중복 관계를 확인해야 합니다.

다음은 03 다변량 정규분포입니다. 여러 변수가 함께 어떤 분포를 이루는지 살펴보고, 평균벡터와 공분산행렬이 변수들의 결합분포를 어떻게 설명하는지 알아봅니다. 또한 각 변수가 개별적으로 정규분포를 따른다고 해서 반드시 다변량 정규분포가 되는 것은 아니라는 점도 살펴봅니다.