MDS·t-SNE·UMAP

음악 스트리밍 서비스에서 이용자 2,000명의 청취 패턴을 분석한다고 가정해 보겠습니다. 어떤 사람은 잔잔한 음악을 오래 듣고, 어떤 사람은 짧은 댄스곡을 반복해서 듣습니다. 또 다른 이용자는 재즈와 클래식을 골고루 듣거나 새로운 아티스트를 자주 찾아봅니다.

이용자의 특성을 장르 선호도, 평균 곡 길이, 건너뛰기 비율, 하루 청취시간, 신곡 탐색 비율 등 15개 변수로 정리했다면 이용자 사이의 유사성을 어떻게 한눈에 확인할 수 있을까요? 15차원 자료는 표로 살펴볼 수 있지만, 이용자들이 얼마나 비슷한지 직관적으로 이해하기는 어렵습니다.

이때 활용할 수 있는 방법이 다차원척도법(Multidimensional Scaling, MDS), t-SNE(t-distributed Stochastic Neighbor Embedding), UMAP(Uniform Manifold Approximation and Projection)입니다. 세 방법은 고차원 데이터를 2차원이나 3차원으로 표현해 관측값의 관계를 살펴보도록 돕지만, 무엇을 보존하려고 하는지와 결과를 해석하는 방식은 다릅니다.

이번 글에서는 세 방법의 원리, 적용 상황, 거리와 전처리, 주요 설정, 결과 그래프를 읽는 방법, 한계와 재현성까지 하나의 예제로 비교하겠습니다.

예를 들어 두 이용자의 장르 선호는 비슷하지만 청취시간이 다를 수 있고, 다른 두 이용자는 청취시간이 같아도 음악을 건너뛰는 행동이 다를 수 있습니다.

차원 축소(Dimensionality Reduction)는 여러 변수에 담긴 정보를 더 적은 수의 축으로 표현하는 접근입니다. 다만 축의 수를 줄이면 정보 일부가 손실됩니다. 따라서 차원 축소 그래프는 원본 데이터를 완벽하게 복원한 지도가 아니라, 특정 관계를 강조하도록 만든 요약 시각화로 이해해야 합니다.

MDS는 관측값 사이의 거리 또는 비유사도를 가능한 한 재현하려고 합니다. t-SNE는 가까운 이웃 관계를 특히 강조하고, UMAP은 국소적인 이웃 구조를 바탕으로 저차원 표현을 구성합니다. 목적이 다르므로 같은 자료라도 세 그래프의 모양이 달라질 수 있습니다.

한 사람을 한 행으로 구성하고, 주요 변수 15개를 사용합니다. 예를 들어 팝·힙합·재즈·클래식·일렉트로닉 음악의 청취 비율, 하루 평균 청취시간, 건너뛰기 비율, 반복 재생 비율, 신곡 탐색 비율 등이 포함됩니다.

이 예제의 목표는 구매 여부를 예측하거나 고객을 미리 정의한 집단으로 분류하는 것이 아닙니다. 청취 특성이 비슷한 이용자들이 저차원 지도에서 어떻게 배치되는지 살펴보는 탐색적 분석입니다. 이후 마케팅이나 추천 시스템에 활용하려면 별도의 검증이 필요합니다.

따라서 변수의 단위와 분포를 먼저 확인해야 합니다. 하루 청취시간을 분 단위로 기록하고 장르 선호 비율은 0~1로 기록했다면, 아무런 조정 없이 유클리드 거리를 계산할 경우 청취시간이 거리를 과도하게 좌우할 수 있습니다.

연속형 변수는 목적에 따라 표준화하거나 강건한 스케일링을 적용할 수 있습니다. 장르별 비율처럼 합계가 1인 조성자료는 구성비의 특성을 고려한 거리도 검토해야 합니다.

결측값 처리와 극단값 확인도 필요합니다. 이 예제에서는 설명을 단순화하기 위해 변수별 의미를 검토하고 적절히 변환·표준화한 15개 입력값을 사용한다고 가정합니다.

이용자 A와 B가 원본 자료에서 비슷하다면 지도에서도 가깝게, 상당히 다르다면 상대적으로 멀게 표현하려는 것입니다.

고전적 MDS(Classical MDS)는 적절한 유클리드 거리행렬을 바탕으로 좌표를 구성합니다. 계량 MDS(Metric MDS)는 주어진 거리와 지도상의 거리 사이의 불일치를 줄이도록 배치하며, 비계량 MDS(Nonmetric MDS)는 주로 비유사도의 순서 관계를 보존하는 데 초점을 둡니다.

MDS에서는 스트레스(Stress)와 같은 적합도 지표를 확인할 수 있습니다. 스트레스가 작을수록 선택한 정의에서 원래의 비유사도를 저차원 좌표가 더 잘 반영하는 경향이 있지만, 수치의 해석은 스트레스의 종류와 정규화 방식에 따라 달라집니다.

따라서 프로그램마다 나온 값을 무조건 같은 기준으로 비교해서는 안 됩니다.

주변에서 비슷한 이용자를 찾아 시각화할 때 유용하며, 고차원에서 국소적으로 밀집한 패턴을 파악하는 데 도움을 줍니다.

핵심 설정인 퍼플렉시티(Perplexity)는 각 관측값이 고려하는 유효한 이웃 규모와 관련됩니다. 예를 들어 15, 30, 50처럼 여러 값을 비교해 볼 수 있지만 모든 데이터에 통용되는 최적값은 없습니다. 표본 수, 밀도, 관심 있는 구조에 따라 적절한 값이 달라집니다.

데이터의 국소적인 구조를 중심으로 표현하며 설정에 따라 상대적으로 넓은 구조도 탐색할 수 있습니다.

대표적인 설정은 n_neighbors와 min_dist입니다. n_neighbors는 각 관측값을 중심으로 구조를 파악할 때 고려하는 이웃 범위에 영향을 줍니다. 작은 값은 더 국소적인 패턴에, 큰 값은 더 넓은 관계에 비중을 두는 방향으로 작용할 수 있습니다.

min_dist는 저차원에서 점들이 얼마나 촘촘히 모일 수 있는지에 영향을 줍니다.

예를 들어 n_neighbors=30, min_dist=0.1은 실험을 시작하기 위한 설정 중 하나일 뿐 정답은 아닙니다. UMAP 역시 그래프의 덩어리 간 거리와 면적을 원래 공간의 물리적 거리처럼 취급해서는 안 됩니다.

MDS가 언제나 전체 구조를 가장 잘 보존하거나 UMAP이 언제나 t-SNE보다 빠르고 정확한 것은 아닙니다. 자료의 규모, 구현 방식, 거리 척도와 설정에 따라 결과가 달라집니다.

MDS 지도에는 장르 선호와 청취시간에 따라 이용자가 완만한 연속 분포를 보였다고 가정하겠습니다. t-SNE 지도에서는 잔잔한 음악을 주로 듣는 이용자와 강한 비트의 음악을 반복 재생하는 이용자가 각각 비교적 조밀한 영역에 배치되었습니다.

UMAP에서는 이와 유사한 국소 집합이 보이면서 일부 이용자들이 두 영역 사이를 연결하는 형태로 나타났다고 가정할 수 있습니다.

세 그래프를 해석할 때는 좌표축의 수치 자체에 의미를 부여하지 않는 것이 중요합니다. t-SNE의 첫 번째 축에서 12라는 값이 나온다고 해서 청취시간이 12시간이라는 의미는 아닙니다. 그래프는 임의의 회전·반사·이동을 거칠 수 있으며, 같은 데이터라도 실행 조건에 따라 위치가 달라질 수 있습니다.

또한 시각적으로 분리된 덩어리를 곧바로 확정된 고객 세그먼트로 부르면 안 됩니다. 점의 색상을 기존 장르 선호나 이용 빈도로 표시하고, 각 영역의 원본 변수 분포를 비교해야 실제로 어떤 특성이 반영되었는지 알 수 있습니다.

아래 그룹은 설명을 위해 원본 변수를 기준으로 정리한 탐색용 프로필이며, MDS·t-SNE·UMAP이 자동으로 산출한 확정 군집이 아닙니다.

이 표는 각 영역의 점들이 왜 모였는지 원래 변수로 확인하는 예시입니다. 세 프로필이 실제로 존재하는 안정적인 세그먼트인지는 별도 군집분석과 재현성 평가가 필요합니다. 시각화만으로 프로필 간 통계적 차이나 인과관계를 증명할 수는 없습니다.

특히 t-SNE와 UMAP은 초기화와 난수, 이웃 규모에 따라 그래프 모양이 달라질 수 있습니다.

예를 들어 t-SNE의 퍼플렉시티를 15, 30, 50으로 바꾸어 보거나 UMAP의 n_neighbors를 15, 30, 60으로 비교할 수 있습니다. 이때 특정 그림이 더 예쁘게 보인다는 이유만으로 설정을 선택해서는 안 됩니다.

분석 목적에 맞게 이웃 관계가 안정적으로 유지되는지, 원래 변수의 패턴과 일관성이 있는지 확인해야 합니다. MDS에서도 어떤 비유사도를 입력했는지, 몇 차원을 사용했는지에 따라 스트레스와 점 배치가 달라집니다. 설정과 재현성을 위해 사용한 구현체의 버전, 난수 시드, 전처리 과정을 기록하는 것이 좋습니다.

각 성분이 설명하는 분산을 계산할 수 있고, 적재량을 통해 어떤 원래 변수가 해당 성분에 기여하는지 살펴볼 수 있습니다.

반면 MDS·t-SNE·UMAP은 관측값 사이의 거리나 이웃 관계를 저차원에 표현하는 데 중심을 둡니다. 특히 t-SNE와 UMAP의 좌표축은 PCA의 주성분처럼 설명분산비율과 명확한 선형 적재량을 제공하는 축이 아닙니다.

PCA는 독립적인 탐색 방법으로 사용할 수도 있고, t-SNE나 UMAP을 적용하기 전에 노이즈와 계산 부담을 줄이기 위한 사전 차원 축소 단계로 활용할 수도 있습니다. 그러나 PCA를 먼저 적용하면 정보 일부가 제거되므로 원본 공간에서 중요한 미세 구조가 사라지지 않는지도 검토해야 합니다.

특히 t-SNE와 UMAP의 전역 거리, 덩어리 크기와 모양을 직접 비교하는 것은 위험합니다. MDS도 차원 축소에 따른 거리 왜곡이 발생할 수 있으므로 스트레스와 원래 거리의 재현 정도를 확인해야 합니다.

점들이 나뉘어 보인다고 실제 군집이 증명되는 것은 아닙니다.

군집의 수와 경계를 결정하려면 원래 특성에 대한 분석과 별도의 군집 안정성 검토가 필요합니다. 또한 시각화 뒤에 그룹을 만들어 같은 데이터에서 다시 검정하면 선택 편향이 발생할 수 있습니다.

전처리와 거리 척도가 결과에 큰 영향을 줍니다.

시간·횟수·비율을 적절히 조정하지 않으면 특정 변수가 유사성을 지배할 수 있습니다. 여러 설정에서 이웃 관계가 안정적인지 확인하는 것이 좋습니다.

2차원 시각화는 원본 데이터의 완전한 복사본이 아닙니다.

복잡한 고차원 관계를 줄이는 과정에서 구조 일부가 왜곡되므로, 중요한 결정을 내릴 때는 원본 변수와 별도의 평가를 함께 활용해야 합니다.

MDS에서는 스트레스 등 적합도 정보를, t-SNE와 UMAP에서는 주요 설정과 여러 설정에서의 안정성을 함께 설명할 수 있습니다.

실제 분석에서는 알고리즘별 설정값과 MDS 적합도 수치 등을 추가해야 합니다.

MDS는 거리와 비유사도 관계를 재현하는 데 초점을 두고, t-SNE는 가까운 이웃을 강조하며, UMAP은 근접 이웃 구조를 기반으로 저차원 표현을 만듭니다.

그러나 시각화의 모양이 곧 데이터의 실제 집단 구조를 증명하지는 않습니다. 설정과 거리 척도에 따라 배치가 달라질 수 있으며, 특히 덩어리 간 거리나 면적을 원본 공간의 정량적인 차이로 읽는 것은 주의해야 합니다.