계층적 베이지안 모형
Hierarchical Bayesian Models · 부분 풀링과 집단별 추정
여러 집단의 데이터를 분석할 때는 두 가지 문제를 동시에 고려해야 합니다. 전체 데이터를 하나로 합치면 집단별 차이가 사라질 수 있고, 각 집단을 완전히 따로 분석하면 데이터가 적은 집단의 추정 결과가 불안정해질 수 있습니다. 계층적 베이지안 모형(Hierarchical Bayesian Model)은 전체 집단의 공통적인 경향과 개별 집단의 특성을 함께 추정하는 방법입니다. 20개 매장의 고객 만족도를 분석한다면, 매장마다 고객 수, 입지, 규모가 다르지만 모든 매장이 완전히 독립적인 환경에 있는 것은 아닙니다. 계층적 모형은 매장별 차이를 반영하면서도 다른 매장에서 얻은 정보를 활용해 추정의 안정성을 높일 수 있습니다.
왜 계층적 모형이 필요할까?
20개 매장 가운데 세 매장의 고객 만족도 평균을 살펴보겠습니다.
| 매장 | 응답자 수 | 관측된 평균 만족도 |
|---|---|---|
| A 매장 | 200명 | 4.2점 |
| B 매장 | 20명 | 4.8점 |
| C 매장 | 15명 | 3.4점 |
B 매장의 평균은 4.8점으로 높고 C 매장의 평균은 3.4점으로 낮습니다. 하지만 B와 C는 응답자가 적기 때문에 이 평균만으로 각 매장의 실제 만족도 수준을 확신하기 어렵습니다. 이때 생각할 수 있는 방법은 세 가지입니다.
모든 매장의 데이터를 합쳐 전체 평균을 추정합니다.
장점: 전체 데이터 활용
한계: 매장별 차이를 충분히 반영하지 못함
각 매장의 데이터를 완전히 독립적으로 분석합니다.
장점: 매장별 특성을 그대로 반영
한계: 응답자가 적은 매장은 추정이 불안정할 수 있음
전체적인 경향과 각 매장의 데이터를 함께 활용합니다.
장점: 집단별 차이를 유지하면서 추정의 불확실성을 줄일 수 있음
계층적 베이지안 모형의 핵심은 세 번째인 부분 풀링입니다. 그림 1처럼 모든 집단을 똑같다고 가정하지도 않고, 완전히 무관하다고 가정하지도 않습니다.
계층적 베이지안 모형은 어떻게 구성될까?
계층적 모형은 일반적으로 여러 수준의 확률모형으로 구성됩니다. 매장별 평균 만족도를 추정하는 간단한 예는 다음과 같습니다.
yij: j번째 매장의 i번째 고객 만족도 · θj: j번째 매장의 평균 만족도 · μ: 전체 매장에 걸친 평균적인 수준 · τ: 매장별 평균이 전체 수준에서 얼마나 달라지는지(집단 간 변동성) · σ: 같은 매장 안에서 고객 만족도가 얼마나 달라지는지(집단 내 변동성)
첫 번째 식은 고객 응답이 각 매장의 평균을 중심으로 분포한다고 가정합니다. 두 번째 식은 매장별 평균 자체도 전체 평균 μ를 중심으로 분포한다고 가정합니다. 즉, 고객 응답에는 매장 내부의 차이가 있고, 매장 평균에는 매장 사이의 차이가 있습니다. 계층적 모형은 이 두 종류의 변동성을 구분하며, μ와 τ도 데이터에서 함께 추정합니다. 20개 매장 1,766명의 모의 자료에 이 모형을 MCMC로 적합하면 μ ≈ 4.03, τ ≈ 0.38, σ ≈ 0.79로 추정됩니다.
부분 풀링은 어떻게 작동할까?
부분 풀링에서는 집단별 추정치가 자신의 데이터뿐 아니라 전체 집단에서 관찰된 정보의 영향도 받습니다.
- 응답자가 많은 집단은 자체 데이터가 풍부하므로 집단별 관측 결과가 추정에 큰 영향을 줍니다.
- 응답자가 적은 집단은 자체 데이터의 불확실성이 크므로 전체 집단의 경향에서 더 많은 정보를 얻습니다.
- 집단 간 차이가 실제로 크다면 모형은 그러한 차이도 반영할 수 있습니다.
그림 3처럼 집단별 추정치가 전체 평균 방향으로 조정되는 현상을 수축(shrinkage)이라고 합니다. 응답자가 적은 매장일수록 관측 평균과 추정치 사이의 선이 깁니다.
| 매장 | 응답자 수 | 관측 평균 | 부분 풀링 추정 [95% 신용구간] | 변화 |
|---|---|---|---|---|
| A | 200명 | 4.2 | 4.20 [4.09, 4.31] | 거의 그대로 |
| B | 20명 | 4.8 | 4.65 [4.33, 4.98] | 전체 평균 방향으로 조정 |
| C | 15명 | 3.4 | 3.55 [3.18, 3.91] | 전체 평균 방향으로 조정 |
그림 4처럼 B 매장은 4.8에서 4.65로, C 매장은 3.4에서 3.55로 조정되고, 신용구간은 무풀링의 구간보다 좁아집니다. 그래도 B가 A보다 높을 사후확률은 0.996, C가 A보다 낮을 사후확률은 1.000로, 매장 간 차이는 그대로 유지됩니다.
얼마나 조정되는지는 응답자 수, 집단 내 변동성, 집단 간 변동성 및 사전분포 등에 따라 달라집니다. 그림 5처럼 이 예에서 A 매장의 추정치는 자기 데이터의 비중이 약 98%이지만, B는 약 82%, C는 약 78%이고 나머지를 전체 평균에서 빌려옵니다. 수축은 모든 집단의 결과를 강제로 같게 만드는 것이 아닙니다. 데이터가 충분하고 집단 간 차이가 뚜렷하면(τ가 크면) 집단별 특성이 더 많이 유지됩니다.
계층적 모형은 어디에 활용할까?
계층적 베이지안 모형은 데이터가 여러 집단이나 수준으로 구성된 연구에서 유용합니다.
매장별 매출이나 고객 만족도를 비교할 때, 매장마다 데이터 양이 다른 상황에서 전체 경향과 매장별 차이를 함께 추정할 수 있습니다.
학생은 학급에, 학급은 학교에 속합니다. 학생 개인의 특성과 학급 · 학교별 차이를 구분해 학업 성취도를 분석할 수 있습니다.
병원마다 환자 구성과 환자 수가 다를 때 병원별 성과를 비교하면서 환자 수준과 병원 수준의 변동을 함께 고려할 수 있습니다.
지역별 응답자 수가 크게 다를 때 지역별 만족도나 정책 선호도를 추정하면서 지역 간 차이와 추정 불확실성을 함께 살펴볼 수 있습니다.
이러한 상황에서는 집단별 표본 크기가 다르거나, 집단 안에 개인이 있고 개인이 다시 상위 집단에 속하는 구조가 흔합니다. 계층적 모형은 이 구조를 분석에 직접 반영할 수 있습니다.
일반적인 다층모형과는 무엇이 다를까?
계층적 모형과 다층모형(multilevel model)은 많은 경우 밀접하게 연결되어 있습니다. 다층모형은 개인 · 학급 · 학교처럼 데이터의 여러 수준을 표현하는 데 초점을 두는 용어이고, 계층적 베이지안 모형은 그러한 구조를 베이지안 방식으로 추정하는 접근을 가리킬 수 있습니다.
| 비교 항목 | 일반적인 다층모형 | 계층적 베이지안 모형 |
|---|---|---|
| 모수 추정 | 빈도주의 또는 베이지안 방식 모두 가능 | 사전분포와 사후분포 이용 |
| 집단별 효과 | 집단 간 변동성을 모형화 | 집단별 효과와 상위 모수의 사후분포 추정 |
| 불확실성 해석 | 추정량과 신뢰구간 등 | 사후분포, 신용구간, 관심 사건의 사후확률 |
| 사전정보 | 추정 방식에 따라 다름 | 사전분포로 명시적으로 반영 |
따라서 모든 다층모형이 베이지안 모형인 것은 아닙니다. 다층모형은 구조에 관한 개념이고, 베이지안은 모수를 추론하는 방법에 관한 개념이라는 점을 구분하면 이해하기 쉽습니다. 회귀분석 12장의 혼합효과모형도 같은 구조를 빈도주의 방식으로 추정한 것입니다.
계층적 베이지안 모형의 장점과 주의점
· 집단별 데이터가 적을 때 전체 집단의 정보를 활용할 수 있습니다.
· 집단 내 변동성과 집단 간 변동성을 구분할 수 있습니다.
· 집단별 추정치와 그 불확실성을 함께 파악할 수 있습니다.
· 여러 수준의 데이터를 하나의 일관된 확률모형으로 분석할 수 있습니다.
· 계층 구조를 잘못 설정하면 결과가 왜곡될 수 있습니다.
· 사전분포와 집단 간 변동성에 대한 가정이 결과에 영향을 줄 수 있습니다.
· 복잡한 모형에서는 MCMC와 같은 계산 방법 및 수렴 진단이 필요할 수 있습니다.
· 부분 풀링이 집단별 추정의 불확실성을 줄여줄 수는 있지만, 편향이나 데이터 품질 문제를 자동으로 해결하지는 않습니다.
특히 집단 간 차이가 실제로 크거나 집단이 서로 다른 모집단에서 왔다면, 전체 평균 방향으로 수축하는 정도를 신중하게 평가해야 합니다.
20개 매장 고객 1,766명의 만족도를 매장별 평균이 전체 평균을 중심으로 분포하는 계층적 베이지안 모형으로 분석하였다. 전체 평균은 4.03(95% 신용구간 [3.85, 4.21]), 매장 간 표준편차 τ는 0.38(0.26~0.56)였다. 응답자가 20명인 B 매장의 관측 평균 4.8은 부분 풀링 후 4.65([4.33, 4.98])로 추정되었으며, A 매장(200명, 4.20)보다 높을 사후확률은 0.996였다.
집단끼리 정보를 빌려 전체 경향과 집단별 차이를 함께 추정합니다.
- 계층적 베이지안 모형은 전체적인 경향과 집단별 특성을 동시에 추정합니다.
- 부분 풀링은 각 집단의 데이터와 전체 집단의 정보를 함께 활용하는 방식입니다.
- 수축의 정도는 집단별 표본 크기와 집단 간 변동성 등에 따라 달라집니다.
- 매장, 학교, 병원, 지역처럼 여러 집단으로 구성된 데이터에 활용할 수 있습니다.
- 계층적 모형의 장점을 살리려면 계층 구조, 사전분포, 모형 적합성을 함께 검토해야 합니다.
베이지안 통계 10개 주제를 마치며
| 연구 질문 | 주요 분석 방법 | 장 |
|---|---|---|
| 빈도주의와 베이지안은 확률을 어떻게 다르게 쓰는가? | 베이지안 추론의 개념, 신뢰구간 vs 신용구간 | 01 |
| 새로운 증거로 확률을 어떻게 갱신하는가? | 베이즈 정리 | 02 |
| 사전정보와 데이터를 어떻게 결합하는가? | 사전분포 · 우도 · 사후분포 | 03 |
| 모수를 어떻게 요약하고 불확실성을 표현하는가? | 사후평균, 신용구간, HPD, 사후확률 | 04 |
| 두 가설 중 데이터가 어느 쪽을 지지하는가? | 베이즈 팩터 | 05 |
| 집단 간 평균이 다른가? | 베이지안 t검정 · ANOVA | 06 |
| 설명변수와 결과의 관계는 얼마나 확실한가? | 베이지안 회귀 | 07 |
| 복잡한 사후분포는 어떻게 계산하는가? | MCMC, 수렴 진단 | 08 |
| 모형이 데이터를 잘 재현하는가? | 사후예측검사 | 09 |
| 여러 집단을 함께 추정하려면? | 계층적 베이지안 모형, 부분 풀링 | 10 |
이로써 베이지안 통계의 10개 장을 모두 마쳤습니다. 사전정보와 데이터를 결합해 사후분포를 구하고, 그 분포로 추정 · 검정 · 회귀를 수행하며, MCMC로 계산하고 사후예측검사로 점검한 뒤, 계층적 모형으로 여러 집단을 함께 다루는 흐름입니다. 어떤 모형이든 사전분포의 근거와 민감도, 계산의 수렴, 모형이 데이터를 재현하는지를 함께 보고해야 결과를 믿을 수 있습니다.
계층적 베이지안 모형은 매장 평균이 전체 평균 주변에 분포한다고 보고, 집단 내 변동(σ)과 집단 간 변동(τ)을 구분해 추정합니다. 응답자가 적은 매장일수록 전체 평균 쪽으로 더 많이 수축하지만(B 4.8 → 4.65), 데이터가 충분한 매장과 실제 차이는 유지됩니다.