다변량 분석의 진단과 해석

다변량 분석을 실행하면 주성분, 요인적재량, 정준상관계수, 군집처럼 다양한 결과가 나옵니다. 하지만 결과가 계산되었다는 사실만으로 분석이 적절하게 수행되었다고 볼 수는 없습니다. 예를 들어 PCA에서 첫 번째 주성분이 전체 분산의 80%를 설명하더라도, 연구 목적에 맞는 요약인지 검토해야 합니다. t-SNE에서 세 개의 덩어리가 보이더라도 실제 데이터에 세 집단이 존재한다고 단정할 수는 없습니다. 다변량 분석의 진단은 자료가 분석 방법에 적합한지, 결과가 얼마나 안정적인지, 그리고 해석이 원래 자료의 정보를 제대로 반영하는지 확인하는 과정입니다. 이 장에서는 방법 선택부터 자료 품질, 분석별 진단, 차원 수, 안정성, 유의성의 의미, 보고까지 다변량 파트 전체를 점검의 관점에서 정리합니다.

다변량 분석에는 여러 방법이 있으며, 각 방법은 서로 다른 질문에 답합니다.

먼저 연구 질문을 명확히 한 다음 분석 방법을 선택해야 합니다. 결과를 보기 좋게 만드는 방법과 연구 질문에 적합한 방법은 반드시 같지는 않습니다.

분석 기법을 선택하기 전에 원자료의 상태를 점검해야 합니다. 잘못된 값이나 부적절한 변수 구성이 있으면 복잡한 분석을 수행해도 결과를 신뢰하기 어렵습니다.

그림 2는 측정 단위 문제가 실제로 얼마나 큰지 보여 줍니다. 월 소득을 원 단위 그대로 넣고 PCA를 하면, 소득의 분산이 다른 변수보다 압도적으로 커서 제1주성분이 사실상 소득 하나가 됩니다(설명분산 100%). 같은 자료를 표준화한 뒤 분석하면 만족도, 구매 빈도, 소득이 함께 기여하는 주성분이 나오고, 제1주성분의 설명분산은 36%입니다. "설명분산 100%"라는 높은 숫자가 좋은 요약을 뜻하지 않는 사례입니다.

자료를 정리하는 과정에서 값을 무조건 제거하거나 표준화해서는 안 됩니다. 어떤 전처리를 수행했는지 기록하고, 그 선택이 결과에 미친 영향을 검토하는 것이 중요합니다.

분석 방법마다 확인해야 할 지표가 다릅니다. 모든 분석에 같은 기준을 적용하기보다 해당 방법의 목적과 가정에 맞는 진단을 수행해야 합니다.

이 가운데 LDA · QDA의 "학습 자료 정확도만 보면 안 된다"는 경고를 직접 확인해 보겠습니다.

그림 3은 표본 40명을 두 집단으로 분류하는 LDA에서 변수를 2개부터 30개까지 늘린 결과입니다. 실제로 쓸모 있는 변수는 2개뿐이고 나머지는 잡음입니다. 변수가 늘어날수록 학습 자료 정확도는 72%에서 99%까지 올라가지만, 학습에 쓰지 않은 자료로 평가한 교차검증 정확도는 70%에서 55%로 떨어져 동전 던지기(50%)에 가까워집니다. 잡음 변수까지 학습 자료에 끼워 맞춘 결과입니다. 분류 성능 지표의 자세한 계산은 「분류·예측 가이드」에서 다룹니다.

다변량 분석에서는 차원 수를 선택하는 일이 자주 등장합니다. PCA에서는 몇 개의 주성분을, EFA에서는 몇 개의 요인을 유지할지, MDS에서는 2차원으로 충분한지, t-SNE와 UMAP에서는 어떤 차원과 설정이 적절한지 정해야 합니다. 차원을 너무 많이 유지하면 결과가 복잡해지고, 너무 적게 유지하면 중요한 정보가 사라질 수 있습니다.

그림 5는 실제 구조가 2개인 모의 변수 8개의 PCA 결과입니다. 주성분 2개까지의 누적 설명분산은 59%이고, 6개까지 늘리면 92%가 됩니다. 숫자만 보면 6개가 낫지만, 3번째 이후 주성분은 각각 12% 이하로 작고 해석하기 어려운 잡음에 가깝습니다. 설명력을 조금 더 얻는 대신 해석 가능성과 재현성을 잃는 셈입니다. 차원 선택에는 모든 분석에 공통으로 적용되는 단 하나의 정답이 없습니다. 분석 목적, 설명력, 적합도, 해석 가능성, 재현성을 함께 고려해야 합니다.

분석 결과는 표본이나 설정에 따라 달라질 수 있습니다. 특히 표본이 작거나 변수가 많을 때는 이런 문제가 더 중요합니다. 예를 들어 PCA에서 첫 번째 주성분이 특정 변수들로 구성되었더라도, 다른 표본에서는 적재량이 크게 달라질 수 있습니다. t-SNE와 UMAP의 경우에도 설정이나 초기화에 따라 시각적 배치가 달라질 수 있습니다(10장 8절).

그림 6은 같은 구조의 자료에서 표본 30명과 300명을 뽑아, 각각 복원추출(부트스트랩)을 200번 반복하며 제1주성분 적재량을 다시 계산한 결과입니다. 표본 30명에서는 적재량의 95% 범위 폭이 평균 1.01로, 같은 변수가 어떤 표본에서는 0 근처, 다른 표본에서는 0.6 이상으로 나옵니다. 300명에서는 평균 폭이 0.43으로 줄어듭니다. 한 번 계산한 적재량을 그대로 믿기 전에 이런 흔들림을 확인해야 하는 이유입니다.

안정성 검토는 결과가 항상 똑같이 나오는지를 요구하는 것이 아닙니다. 합리적인 표본이나 설정의 변화에도 연구의 핵심 결론이 유지되는지를 확인하는 과정입니다.

통계적 유의성과 실질적인 중요성은 구분해야 합니다. 표본이 매우 크면 작은 상관관계도 통계적으로 유의하게 나타날 수 있습니다. 반대로 표본이 작으면 실제로 의미 있는 관계가 있더라도 유의성이 확보되지 않을 수 있습니다.

그림 7의 A는 10,000명에서 얻은 상관 r = 0.05입니다. p < 0.001로 유의하지만 신뢰구간이 0.03~0.07로, 관계가 0이 아니라는 것만 확실할 뿐 매우 약합니다. B는 15명에서 얻은 r = 0.40으로 p = 0.14여서 유의하지 않지만, 신뢰구간이 -0.14~0.76로 넓어 "관계가 없다"고 결론 내릴 근거도 부족합니다. 따라서 결과를 해석할 때는 다음을 함께 살펴봅니다.

특히 차원 축소와 시각화 기법은 통계적 유의성 검정 자체보다 구조를 탐색하는 데 목적이 있는 경우가 많습니다. 따라서 분석의 목적에 맞는 평가 기준을 선택해야 합니다.

좋은 결과 보고서는 숫자만 나열하지 않고, 분석이 어떻게 수행되었고 결과를 어느 범위까지 해석할 수 있는지 설명합니다.

모든 항목이 모든 분석에 똑같이 필요한 것은 아닙니다. 해당 분석에서 중요한 설정과 진단을 중심으로 보고하면 됩니다.

항목을 하나씩 눌러 확인해 보세요.

이 체크리스트는 모든 항목을 기계적으로 통과시키기 위한 것이 아니라, 분석 결과를 보고하기 전에 놓친 부분이 없는지 확인하기 위한 것입니다.

• 다변량 분석은 기법을 실행하는 것만큼 자료와 결과를 진단하는 과정이 중요합니다.
• 분석 목적에 맞는 방법을 선택하고, 각 방법에 적합한 진단 지표를 확인해야 합니다.
• 차원 수와 설정값은 설명력뿐 아니라 해석 가능성과 안정성을 함께 고려해 결정합니다.
• 통계적 유의성, 실질적인 중요성, 결과의 재현성은 서로 다른 측면입니다.
• 분석 결과의 의미와 한계를 명확하게 보고해야 신뢰할 수 있는 결론을 도출할 수 있습니다.

다변량통계 12개 주제를 마치며

다변량통계는 변수 하나씩이 아니라 변수들이 함께 움직이는 구조를 다룹니다. 공분산행렬과 다변량 정규분포라는 공통의 바탕 위에서, 비교 · 요약 · 분류 · 시각화 중 무엇이 목적인지에 따라 방법이 갈립니다. 어떤 방법이든 결과가 새 자료에서도 유지되는지 점검해야 결론이 됩니다.