계층적 군집분석(HCA)

도서관 12곳을 운영하는 지방자치단체가 있다고 가정해 보겠습니다. 어떤 도서관은 자료 대출이 많고, 어떤 도서관은 어린이 프로그램 참여율이 높으며, 또 다른 도서관은 디지털 서비스 이용이 활발합니다. 이런 차이를 바탕으로 도서관들을 몇 개의 운영 유형으로 나누려면 어떻게 해야 할까요?

평균적인 특성이 비슷한 도서관을 묶는 군집분석을 사용할 수 있습니다. 하지만 처음부터 군집 수를 세 개 또는 네 개로 정하고 싶지는 않을 수도 있습니다. 비슷한 도서관들이 어떤 순서로 합쳐지는지 살펴본 다음, 적절한 구분 수준을 선택하고 싶다면 계층적 군집분석(Hierarchical Cluster Analysis, HCA)이 유용합니다.

HCA는 관측값 사이의 유사성이나 거리를 이용하여 단계적인 군집 구조를 만듭니다. 분석 결과는 주로 덴드로그램(Dendrogram)으로 표현하며, 가지가 합쳐지는 높이를 통해 군집 간 거리 또는 결합 기준을 살펴볼 수 있습니다.

이번 글에서는 거리 측정, 연결법, 표준화, 덴드로그램, 군집 수 결정, 군집 프로파일과 분석 시 주의사항을 하나의 사례로 살펴보겠습니다.

실무에서는 관측값 하나하나를 개별 군집으로 시작해 가까운 것부터 병합하는 병합적 군집분석(Agglomerative Clustering)을 많이 사용합니다.

예를 들어 도서관 A와 B가 가장 비슷하다면 이 둘을 먼저 묶습니다. 이후 C가 AB 군집과 비슷하다면 ABC 군집을 만들고, 이런 과정을 모든 도서관이 하나의 군집으로 합쳐질 때까지 반복합니다. 이렇게 얻은 결과는 하나의 군집 수로 고정된 분류표가 아니라, 다양한 높이에서 잘라 여러 군집 해를 살펴볼 수 있는 구조입니다.

반대로 분할적 군집분석(Divisive Clustering)은 전체를 하나의 군집으로 시작해 단계적으로 분리합니다. 두 방식 모두 계층적 군집분석에 속하지만 구체적인 알고리즘과 계산 비용은 다릅니다.

반면 병합적 HCA는 관측값이 합쳐지는 순서를 먼저 구성하므로 여러 군집 수를 하나의 덴드로그램에서 검토할 수 있습니다.

어느 방법이 더 낫다고 일반화할 수는 없습니다. 데이터 크기, 군집의 모양, 거리의 의미, 설명 가능성에 따라 선택해야 합니다.

분석 목적은 운영 실적을 단순 순위화하는 것이 아니라 서로 비슷한 서비스 특성을 가진 도서관을 묶는 것입니다.

도서관 규모가 크면 모든 이용 건수가 높게 나타날 수 있으므로, 실제 분석에서는 인구 또는 등록회원 수 대비 지표로 바꾸거나 규모 변수를 별도로 고려하는 방법도 검토해야 합니다.

여기서는 운영 프로파일의 차이를 비교하기 위해 네 변수를 표준화한 뒤 유클리드 거리와 Ward 연결법을 적용한다고 가정하겠습니다.

이하의 수치는 분석 개념을 이해하기 위한 예제입니다.

예를 들어 연간 대출 건수는 수만 건 단위이고 어린이 프로그램 비중은 0~100% 범위라면, 원자료의 유클리드 거리에서는 대출 건수 차이가 거의 모든 거리를 결정할 수 있습니다.

이 문제를 줄이는 대표적인 방법이 Z점수 표준화입니다.

여기서 x_ij는 도서관 i의 변수 j에 대한 값이고, x̄_j와 s_j는 변수 j의 평균과 표준편차입니다. 표준화한 값은 서로 다른 단위를 비교할 수 있도록 만들어 줍니다.

다만 표준화만 하면 변수의 중요도가 자동으로 같아지는 것은 아닙니다. 연구 목적상 중요한 변수에 가중치를 부여할 수도 있으며, 극단값이 많은 경우에는 강건한 척도화 방법을 고려할 수 있습니다.

또한 변수 사이에 높은 중복이 있으면 같은 특성이 거리 계산에 반복 반영될 수 있습니다. 따라서 표준화 이전에 변수의 정의와 상관관계를 함께 살펴보는 것이 좋습니다.

분석 목적에 따라 유클리드 거리, 맨해튼 거리, 상관 기반 거리 등 다양한 척도를 사용할 수 있습니다.

표준화된 두 도서관의 변수값이 A = (1, 0), B = (0, 1)이라고 가정하면 유클리드 거리는 √2 ≈ 1.414입니다. 여기서 두 좌표는 실제 도서관의 전체 데이터를 단순화한 계산 예입니다.

거리 척도마다 가까운 도서관의 순서가 달라질 수 있으므로 선택 근거를 명시해야 합니다. 특히 Ward 연결법은 일반적으로 유클리드 거리의 제곱오차 증가에 기반하므로 임의의 거리 척도와 조합해서 같은 의미로 해석하면 안 됩니다.

군집 간 거리를 정의하는 규칙을 연결법(Linkage Method)이라고 합니다.

Ward 연결법은 두 군집을 합쳤을 때 군집 내 변동이 얼마나 증가하는지를 기준으로 병합합니다. 따라서 비슷한 값들이 모인 군집을 형성하는 데 유용할 수 있습니다. 하지만 군집이 크기나 모양에서 매우 이질적이거나 극단값이 많으면 기대한 결과가 나타나지 않을 수 있습니다.

이 예제에서는 표준화된 네 개의 운영 지표와 Ward 연결법을 사용하겠습니다.

가로축에는 개별 도서관 또는 군집이 표시되고, 세로축에는 군집이 합쳐지는 수준이 표시됩니다.

예를 들어 두 도서관이 낮은 높이에서 합쳐졌다면 운영 특성이 해당 연결 기준에서 매우 유사한 편이라고 볼 수 있습니다. 반면 서로 다른 두 큰 군집이 높은 수준에서 합쳐진다면 군집 사이의 차이가 상대적으로 크다는 뜻입니다.

주의할 점은 덴드로그램의 세로축이 언제나 원래의 유클리드 거리 자체를 뜻하지는 않는다는 사실입니다. 특히 Ward 연결법에서는 사용하는 소프트웨어의 정의에 따라 제곱합 증가와 연관된 병합 높이가 표시될 수 있습니다. 따라서 그래프의 축 이름과 분석 설정을 함께 확인해야 합니다.

덴드로그램에서 높이가 크게 증가하는 병합 바로 아래를 자르면 서로 구분되는 군집을 얻을 수 있습니다. 그러나 눈으로 보이는 간격 하나만으로 군집 수가 객관적으로 확정되는 것은 아닙니다.

덴드로그램의 병합 높이 변화, 실루엣 계수(Silhouette Score), 군집의 해석 가능성, 군집별 최소 표본 수 등을 함께 검토할 수 있습니다. 실루엣 계수는 관측값이 자기 군집과 얼마나 가까우면서 다른 군집과는 얼마나 떨어져 있는지를 요약합니다.

이 결과에서는 세 개의 군집을 선택할 수 있습니다. 다만 도서관이 12곳밖에 없으므로 실루엣 계수의 작은 차이에 지나치게 의존해서는 안 됩니다. 결과가 거리 척도나 표준화 방식에 따라 얼마나 달라지는지도 중요합니다.

아래 값은 이해를 돕기 위한 군집별 원래 단위의 평균값이며, 분석에 사용한 표준화 점수와는 구분됩니다.

군집 1은 대출 건수가 상대적으로 높아 자료 대출 중심형, 군집 2는 프로그램 참여와 어린이 프로그램 비중이 높아 지역 프로그램 중심형, 군집 3은 디지털 서비스 이용이 높아 디지털 서비스 중심형이라고 해석할 수 있습니다.

다만 이러한 명칭은 분석 알고리즘이 자동으로 부여한 객관적인 유형이 아닙니다. 실제 운영 지표와 정책 목적을 검토한 연구자의 해석입니다. 또한 군집 간 평균이 다르다는 사실만으로 차이가 모집단에서 통계적으로 유의하거나 운영 전략 때문에 발생했다고 결론 내릴 수는 없습니다.

예를 들어 한 도서관만 대출 건수나 디지털 서비스 이용량이 극단적으로 높다면 덴드로그램에서 해당 도서관이 다른 군집과 늦게 합쳐질 수 있습니다.

이것은 실제로 독특한 유형의 도서관이 존재한다는 신호일 수도 있지만, 단위 입력 오류나 자료 집계 방식 차이 때문일 수도 있습니다. 따라서 분석 전 극단값과 결측값을 확인해야 합니다.

예를 들어 다음과 같은 민감도 분석을 실시할 수 있습니다. 표준화 방법을 바꾸거나, Ward 외에 평균 연결법을 적용하고, 일부 변수의 포함 여부를 변경한 뒤 군집 구성이 얼마나 유사한지 확인하는 것입니다. 관측값을 일부 제외하거나 부트스트랩 표본으로 다시 군집을 만든 뒤 군집 안정성을 살펴볼 수도 있습니다.

군집 결과를 비교할 때는 조정 랜드 지수(Adjusted Rand Index, ARI) 같은 지표를 활용할 수 있습니다. 다만 표본이 매우 작은 경우 이 지표도 변동성이 클 수 있으므로 수치와 함께 어떤 도서관의 소속이 달라졌는지 직접 확인하는 것이 좋습니다.

운영상 의미 있는 유형을 제안하는 것이 목적이라면 군집 내부의 공통 특성과 다른 군집과의 차이를 도서관 담당자와 함께 검토하는 과정도 도움이 됩니다.

거리 척도는 무엇을 비슷하다고 볼지 결정하고, 연결법은 군집끼리 어떤 기준으로 합칠지 결정합니다. 특히 Ward 연결법에 임의의 비유클리드 거리를 적용해 동일한 분산 최소화 의미로 해석하지 않아야 합니다.

변수의 단위와 중복을 확인해야 합니다.

표준화를 생략하면 규모가 큰 변수가 거리를 지배할 수 있고, 비슷한 정보를 가진 변수를 여러 개 포함하면 특정 특성이 과도하게 반영될 수 있습니다.

군집 수를 덴드로그램의 모양만으로 정하지 않아야 합니다.

병합 높이뿐 아니라 실루엣 계수, 군집 크기, 해석 가능성, 다른 분석 설정에서의 안정성을 함께 확인해야 합니다.

덴드로그램의 가까움과 인과관계를 혼동하지 않아야 합니다.

두 도서관의 운영 지표가 비슷하다는 사실은 한 도서관이 다른 도서관에 영향을 주었다는 의미가 아닙니다.

군집 이름을 객관적 진단처럼 사용하지 않아야 합니다.

군집 이름은 관측된 특성을 설명하기 위한 해석이며, 실제 도서관의 품질이나 성과 우열을 직접 나타내는 평가 점수가 아닙니다.

가능하면 덴드로그램과 군집별 프로파일 표를 함께 제공하는 것이 좋습니다.

실제 연구에서는 군집별 변수의 분포와 안정성 검토 결과를 함께 보고해야 합니다.

K-Means처럼 처음부터 하나의 군집 수를 정하는 대신 덴드로그램에서 여러 분할 수준을 검토할 수 있다는 특징이 있습니다.

하지만 결과는 거리 척도와 연결법, 변수의 표준화, 이상치, 표본 구성에 따라 달라질 수 있습니다. 따라서 덴드로그램의 모양만으로 군집의 의미를 확정하기보다는 군집별 특성과 안정성을 함께 평가해야 합니다.