다변량 정규분포

여러 변수를 동시에 분석할 때는 변수들이 함께 어떤 형태로 분포하는지도 중요합니다. 각 변수의 분포뿐 아니라 변수들이 함께 어떤 형태로 분포하는지도 중요합니다. 다변량 정규분포(Multivariate Normal Distribution)는 여러 변수의 분포와 변수 간 관계를 하나의 확률분포로 설명하는 방법입니다. 예를 들어 고객의 가격 만족도와 전반적인 만족도를 함께 분석한다면, 두 변수의 평균과 분산뿐 아니라 가격 만족도가 높은 고객일수록 전반적인 만족도도 높은 경향이 있는지까지 고려해야 합니다.

이번 장에서는 다변량 정규분포의 개념과 특징, 주요 가정, 실제 통계분석에서의 활용을 살펴보겠습니다.

일변량 정규분포는 하나의 변수가 평균을 중심으로 좌우 대칭인 종 모양의 분포를 이루는 경우입니다. 예를 들어 특정 집단의 시험 점수가 평균 70점, 표준편차 10점인 정규분포를 따른다고 가정할 수 있습니다. 이때 분포는 두 가지 값으로 설명할 수 있습니다.

• 평균 μ: 분포의 중심
• 분산 σ²: 값이 평균 주변에 얼마나 퍼져 있는지

다변량 정규분포는 두 개 이상의 변수를 하나의 결합분포로 설명합니다. 그림 1의 오른쪽처럼 X₁(가격 만족도)과 X₂(전반적인 만족도)를 함께 분석한다면, 각 변수의 평균과 분산에 더해 두 변수 사이의 공분산까지 고려합니다. 따라서 다변량 정규분포는 변수별 분포와 변수 간 관계를 동시에 설명하는 분포라고 이해하면 됩니다.

다변량 정규분포는 평균벡터와 공분산행렬로 설명할 수 있으며, 일반적으로 다음과 같이 표기합니다.

두 변수의 경우를 살펴보겠습니다.

그림 2처럼 첫 번째 변수의 평균은 4, 두 번째 변수의 평균은 3이므로 분포의 중심은 (4, 3)입니다. 두 변수의 분산은 각각 1이고, 공분산은 0.8로 양수입니다. 두 변수의 표준편차가 모두 1이므로 이 예시에서는 상관계수도 0.8입니다. 즉, 두 변수 사이에 비교적 강한 양의 선형관계가 있어 분포가 오른쪽 위로 기운 타원 모양이 됩니다.

여기서 중요한 점은 평균벡터가 분포의 중심을, 공분산행렬이 변수들의 퍼짐과 관계를 설명한다는 것입니다.

다변량 정규분포를 시각적으로 이해하려면 두 변수의 관계를 생각하면 좋습니다. 확률밀도가 같은 점들을 이은 선을 등고선이라 하며, 다변량 정규분포의 등고선은 타원 모양입니다.

상관계수가 0이라고 해서 모든 상황에서 두 변수가 독립인 것은 아닙니다. 그러나 결합분포가 다변량 정규분포라면 공분산이 0인 두 변수는 독립이라는 중요한 성질이 있습니다. 실제 자료에서도 변수 간 관계에 따라 데이터가 퍼져 있는 방향과 형태가 달라지며, 다변량 정규분포는 이러한 구조를 수학적으로 표현합니다.

변수가 p개일 때 다변량 정규분포의 확률밀도함수는 다음과 같습니다.

이 식은 복잡해 보이지만 핵심은 지수 부분입니다.

이 값은 관측값이 평균벡터에서 얼마나 떨어져 있는지를 변수 간 관계까지 고려해 나타내며, 마할라노비스 거리의 제곱입니다. 단순히 각 변수의 차이를 따로 계산하는 것이 아니라, 변수들의 분산과 공분산을 고려해 평균으로부터의 거리를 측정합니다. 밀도는 d²에만 의존하므로 d가 같은 점들은 밀도도 같고, 이것이 바로 등고선입니다.

그림 4처럼 자료가 다변량 정규분포를 따르면 d²는 자유도가 p인 카이제곱분포를 따릅니다. 두 변수(p = 2)라면 d = 1인 타원 안에 자료의 약 39%, d = 2 안에 약 86%, d = 3 안에 약 99%가 들어갑니다. 이 성질이 7절의 다변량 Q-Q 플롯과 다변량 이상치 판단의 근거가 됩니다.

위의 확률밀도함수는 공분산행렬이 양의 정부호인 일반적인 경우에 적용됩니다. 변수가 완전히 중복되는 등 공분산행렬이 특이행렬이면 역행렬을 구할 수 없으므로 이 식을 그대로 사용할 수 없습니다.

아닙니다. 다변량 정규분포를 이해할 때 가장 주의해야 하는 부분입니다. 각 변수의 분포가 개별적으로 정규분포를 따른다고 해도, 변수들을 함께 고려한 결합분포까지 다변량 정규분포라는 보장은 없습니다.

그림 5의 두 자료는 X와 Y가 각각 표준정규분포를 따르고 상관계수도 거의 0으로 같습니다. 변수별 히스토그램만 보면 구별할 수 없습니다. 그러나 오른쪽 자료는 Y가 X 또는 −X 중 하나로 정해지는 X자 모양이어서, 결합분포는 다변량 정규분포가 아니며 두 변수는 상관이 0인데도 독립이 아닙니다. 이처럼 두 변수의 결합관계가 비선형적으로 형성되어 있다면 결합분포는 다변량 정규분포가 아닐 수 있습니다.

반대로 다변량 정규분포를 따르는 변수벡터라면 다음과 같은 성질이 성립합니다.

1. 각 변수는 개별적으로 정규분포를 따릅니다.
2. 두 변수씩 선택한 주변분포도 이변량 정규분포를 따릅니다.
3. 변수들의 선형결합도 정규분포를 따릅니다.

따라서 변수별 히스토그램이나 정규 Q-Q 플롯만으로 다변량 정규성을 충분히 확인했다고 볼 수 없습니다. 변수들을 함께 나타낸 산점도나 다변량 Q-Q 플롯 등의 추가적인 점검이 필요할 수 있습니다.

다변량 정규분포는 여러 통계분석에서 이론적 기반이나 중요한 가정으로 활용됩니다.

다변량 정규분포를 가정하는 분석이 있다고 해서 모든 다변량 분석에 정규성이 필수인 것은 아닙니다. 분석 목적과 사용한 추론 방법에 따라 가정의 중요성이 달라집니다.

실제 자료에서는 정규성을 가정하기 전에 데이터의 구조를 살펴보는 것이 좋습니다.

그림 6은 세 변수, 200명의 모의 자료입니다. 왼쪽 정규 자료는 점들이 대각선 근처에 놓이고 가장 큰 d²도 14.5로 카이제곱(3)의 99.9% 분위수 16.27보다 작습니다. 오른쪽처럼 치우친 자료는 오른쪽 끝의 점들이 대각선보다 크게 위로 휘어 꼬리가 무겁다는 것을 보여 줍니다.

그림 7의 빨간 점은 가격 만족도가 평균보다 1.3 표준편차 높고 전반적 만족도는 1.2 표준편차 낮아, 변수 하나씩 보면 흔한 값입니다. 하지만 두 변수의 상관이 0.8인 자료에서 이런 조합은 드물어 d² = 15.6로 카이제곱(2) 기준 p < .001입니다. 이런 관측값은 오류인지, 실제로 드문 응답인지 확인해야 합니다.

진단할 때는 다음 사항도 고려해야 합니다.

정규성 검정의 결과 하나만으로 결론을 내리기보다는 그래프, 표본 크기, 이상치, 분석 가정을 종합적으로 살펴보는 것이 바람직합니다.

• 다변량 정규분포는 여러 변수의 결합분포를 설명합니다.
• 평균벡터는 분포의 중심을, 공분산행렬은 변수별 퍼짐과 변수 간 관계를 나타냅니다.
• 변수별로 각각 정규분포를 따른다는 사실만으로 결합분포가 다변량 정규분포라고 결론 내릴 수는 없습니다.
• 다변량 정규성은 Hotelling의 T² 검정, MANOVA, LDA 등의 추론에서 중요하게 활용됩니다.
• 정규성은 변수별 분포만이 아니라 변수 간 결합구조와 이상치까지 고려해 진단해야 합니다.

다음은 04 다변량 평균에 대한 추론입니다. 여러 변수의 평균을 동시에 비교하는 방법으로, 두 집단의 평균벡터가 다른지 검정하는 Hotelling의 T² 검정을 중심으로 여러 개의 평균을 따로 검정하는 방법과 어떤 차이가 있는지 살펴보겠습니다.