사전분포와 사후분포

베이지안 통계에서 가장 중요한 개념은 사전분포, 우도, 사후분포입니다. 이 세 가지가 어떻게 연결되는지 이해하면 베이지안 추정과 가설검정, 회귀분석의 기본 원리를 파악할 수 있습니다. 앞 장에서는 새로운 증거를 이용해 확률을 갱신하는 베이즈 정리를 살펴봤습니다. 이번 장에서는 그 원리가 실제 통계모형에서 어떻게 작동하는지 알아봅니다.

사전분포(Prior distribution)는 데이터를 관찰하기 전, 관심 있는 모수에 대해 가지고 있는 불확실성을 확률분포로 나타낸 것입니다. 온라인 쇼핑몰의 실제 구매 전환율을 θ라고 하겠습니다. 이전 캠페인 자료를 살펴보니 전환율이 대체로 5~10% 수준이었다면, 이번 캠페인의 전환율도 그 범위에 있을 가능성을 상대적으로 높게 설정할 수 있습니다. 다만 사전분포가 반드시 이전 데이터를 기반으로 해야 하는 것은 아니며, 관련 연구, 분야 지식 또는 합리적인 가정을 바탕으로 설정할 수도 있습니다.

사전분포는 하나의 전환율만 정답으로 지정하는 대신, 여러 전환율이 얼마나 그럴듯한지 분포로 표현합니다. 사전분포를 설정할 때는 두 가지를 고려해야 합니다.

• 중심: 어떤 모수 값이 상대적으로 그럴듯한가?
• 불확실성: 그 판단에 얼마나 확신이 있는가?

그림 1의 두 사전분포는 중심이 모두 10%입니다. 넓은 분포 Beta(2, 18)는 전환율이 약 1%에서 26% 사이 어디든 가능하다고 보는 반면, 좁은 분포 Beta(20, 180)는 약 6%에서 14.5% 사이로 확신합니다. 이처럼 중심이 비슷하더라도 분포가 좁으면 특정 범위에 대한 확신이 크고, 분포가 넓으면 더 다양한 값이 가능하다고 보는 것입니다.

우도(Likelihood)는 특정 모수 값이 주어졌을 때, 실제로 관찰한 데이터가 얼마나 그럴듯한지를 나타냅니다. 예를 들어 실제 구매 전환율이 5%라고 가정했을 때와 15%라고 가정했을 때, 각각 고객 100명 중 8명이 구매하는 결과가 얼마나 잘 설명되는지 비교할 수 있습니다.

구매 여부가 전환율 θ에 따라 결정되는 독립적인 베르누이 시행이라고 가정하면, 구매 고객 수 x와 전체 고객 수 n에 대한 우도는 다음과 같습니다.

고객 100명 중 8명이 구매했다면 x = 8, n = 100입니다. 그림 2처럼 우도는 θ = 8%에서 가장 크고, θ = 5%에서는 그 0.45배, θ = 15%에서는 0.11배에 그칩니다. 이 데이터는 전환율이 8% 부근인 가정과 비교적 잘 부합하고, 15%라는 가정과는 잘 맞지 않는다는 뜻입니다.

사후분포(Posterior distribution)는 사전분포와 관찰된 데이터의 우도를 결합해 얻은 분포입니다.

사전분포가 기존 정보를 나타낸다면, 우도는 새로운 데이터가 제공하는 정보를 나타내고, 사후분포는 두 정보를 결합한 결과입니다. 정확하게는 그림 3처럼 사전분포와 우도를 곱한 뒤, 사후분포 전체의 확률이 1이 되도록 정규화합니다. 곱한 결과는 이미 사후분포와 모양이 같지만 넓이가 1이 아니므로, 사후분포는 단순한 곱셈 결과 그 자체가 아니라 정규화된 확률분포입니다.

일반적으로 데이터가 늘어나고 모수에 관한 정보가 충분히 쌓이면 사후분포가 더 좁아질 수 있습니다. 이는 모수의 불확실성이 줄어든다는 의미입니다.

이는 일반적인 직관이며 모든 상황에서 반드시 성립하는 것은 아닙니다. 데이터가 편향되어 있거나 모형이 잘못 지정되었거나 모수를 식별하기 어려운 경우에는 데이터가 많아져도 문제가 해결되지 않을 수 있습니다.

구매 여부를 독립적인 베르누이 시행으로 모델링하고, 전환율 θ에 베타 사전분포를 사용한다고 가정하겠습니다.

이 사전분포의 평균은 10%입니다. 이는 분석 전 전환율을 10% 수준으로 예상하도록 설정했다는 뜻이지, 실제 전환율이 반드시 10%라는 뜻은 아닙니다. 이후 고객 100명 중 8명이 구매했다고 관찰하면, 베타 사전분포와 베르누이 우도의 결합은 다시 베타분포가 되어 사후분포를 간단히 구할 수 있습니다.

그림 5처럼 사후 평균 8.33%는 사전 평균 10%와 관찰된 전환율 8% 사이에 놓이고, 95% 신용구간은 [4.1%, 13.9%]입니다. 그런데 사후 평균은 두 값의 단순 산술평균(9%)이 아닙니다.

Beta(2, 18)은 고객 약 20명을 관찰한 것과 비슷한 정보량을 가진 사전분포로 볼 수 있습니다. 그림 6처럼 사후 평균은 사전 20명분과 데이터 100명의 정보량에 비례한 가중평균이므로, 데이터가 더 많은 이 예에서는 관찰값 8% 쪽에 더 가깝습니다. 이 예시는 베타-베르누이 모형에서 얻는 간단한 결과이며, 실제 분석에서는 사후분포의 전체 모양과 신용구간까지 함께 확인하는 것이 좋습니다.

사전분포 선택은 베이지안 분석에서 중요한 결정입니다. 대표적인 접근은 다음과 같습니다.

그림 7처럼 같은 데이터에 세 종류의 사전분포를 적용하면 사후 평균은 7.7%, 8.3%, 8.8%로 비슷하지만 신용구간의 폭은 정보성 사전분포에서 가장 좁습니다. 사전분포를 선택할 때는 분석 목적과 기존 근거를 함께 고려해야 하며, 결과가 사전분포 선택에 민감할 수 있다면 여러 합리적인 사전분포를 사용해 결과를 비교하는 사전분포 민감도 분석이 유용합니다.

• 사전분포: 데이터를 관찰하기 전 모수에 대한 불확실성
• 우도: 모수 값에 따라 관찰된 데이터가 얼마나 그럴듯한지 나타내는 함수
• 사후분포: 사전분포와 우도를 결합해 얻은 모수의 확률분포
• 데이터의 양과 정보량은 사후분포의 불확실성에 영향을 줍니다.
• 사전분포는 근거를 바탕으로 설정하고, 선택에 따른 결과의 민감도를 점검해야 합니다.

다음은 04 베이지안 추정입니다. 사후분포를 얻은 뒤 이를 이용해 사후평균과 신용구간으로 모수를 어떻게 추정하고, 추정치의 불확실성을 어떻게 표현하는지 알아봅니다.