베이지안 분석

새로운 교육 프로그램이 기존 프로그램보다 효과적일 가능성은 얼마나 될까요? 신제품의 구매 전환율이 기존 제품보다 높을 확률을 계산할 수 있을까요? 연구 결과가 나왔을 때 기존에 가지고 있던 정보를 함께 반영할 수 있을까요?

이러한 질문에 활용할 수 있는 통계적 접근법이 베이지안 분석(Bayesian Analysis)입니다. 베이지안 분석은 새로운 데이터를 관찰할 때마다 기존의 정보나 믿음을 업데이트하여, 관심 있는 모수나 가설에 대한 불확실성을 확률로 표현하는 방법입니다.

전통적인 빈도주의 통계분석(Frequentist Statistics)과는 확률을 해석하는 방식과 통계적 추론 과정에서 차이가 있습니다. 특히 연구 결과에 대한 불확실성을 직접적인 확률로 표현하거나, 기존 연구에서 얻은 정보를 새로운 분석에 반영할 때 활용됩니다.

이번 글에서는 베이지안 분석의 기본 개념부터 베이즈 정리, 사전분포와 사후분포, 실제 분석 사례, 베이지안 t검정과 베이지안 분산분석, 기존 통계분석과의 차이까지 살펴보겠습니다.

예를 들어 새로운 학습 프로그램이 학생들의 시험 성적을 높이는지 알아보고 싶다고 가정해 보겠습니다. 연구를 시작하기 전에 기존 연구를 통해 해당 프로그램과 비슷한 교육 방식이 어느 정도 효과가 있을 수 있다는 정보를 가지고 있을 수 있습니다.

이후 실제 실험 데이터를 수집하면, 베이지안 분석은 기존 정보와 새롭게 관찰된 데이터를 결합하여 프로그램 효과에 대한 추정과 불확실성을 업데이트합니다.

이 과정에서 기존 정보를 사전분포(Prior Distribution), 데이터를 관찰한 뒤 업데이트된 결과를 사후분포(Posterior Distribution)라고 합니다.

베이지안 분석의 가장 큰 특징은 모수에 대한 불확실성을 확률분포로 표현한다는 점입니다. 예를 들어 적절한 모형과 사전분포를 설정했다면 다음과 같은 질문에 답할 수 있습니다.

• 새로운 학습 프로그램의 효과가 0보다 클 확률은 얼마인가?
• 두 집단의 평균 차이가 5점 이상일 확률은 얼마인가?
• 고객 전환율이 특정 기준보다 높을 확률은 얼마인가?

베이즈 정리는 기존 정보와 새로운 증거를 결합하여 확률을 업데이트하는 방법을 설명합니다. 베이지안 통계에서는 일반적으로 다음 관계를 사용합니다.

각 개념의 의미는 다음과 같습니다.

사전분포(Prior Distribution)

사전분포는 현재 데이터를 관찰하기 전에 관심 있는 모수에 대해 가지고 있는 정보를 확률분포로 표현한 것입니다. 예를 들어 기존 연구에서 특정 교육 프로그램의 효과가 대체로 작게 나타났다면, 이를 반영하여 작은 효과에 상대적으로 높은 확률을 부여하는 사전분포를 설정할 수 있습니다.

반드시 기존 연구 결과가 있어야 하는 것은 아닙니다. 사전 정보가 부족한 경우에는 넓은 범위의 값을 허용하는 약정보 사전분포(Weakly Informative Prior) 등을 사용할 수 있습니다. 다만 어떤 사전분포도 완전히 중립적이라고 단정할 수는 없으므로 설정 근거를 확인하는 것이 중요합니다.

가능도(Likelihood)

가능도는 특정 모수값을 가정했을 때 실제 관찰된 데이터가 얼마나 그럴듯한지 나타냅니다. 예를 들어 제품 구매 전환율을 추정하려고 한다면, 실제 방문자 수와 구매자 수가 해당 전환율에서 얼마나 그럴듯하게 발생할 수 있는지를 계산합니다.

가능도는 새로운 데이터가 모수에 대한 정보를 제공하는 핵심적인 역할을 합니다.

사후분포(Posterior Distribution)

사후분포는 사전분포와 가능도를 결합한 결과입니다. 데이터를 관찰한 후 어떤 모수값이 상대적으로 그럴듯한지, 모수에 대한 불확실성이 어느 정도인지 보여줍니다. 베이지안 분석에서는 이 사후분포를 이용해 모수의 추정값, 신용구간, 특정 조건을 만족할 확률 등을 계산합니다.

구매 전환율은 상품 페이지 방문자 중 실제 구매한 사람의 비율입니다. 이 쇼핑몰은 새로운 페이지를 공개하기 전에 구매 전환율이 약 10% 수준일 것으로 예상했습니다. 이후 방문자 100명의 데이터를 수집한 결과 15명이 상품을 구매했습니다.

이 데이터를 베이지안 방법으로 분석해 보겠습니다.

사전분포 설정

구매 전환율은 0에서 1 사이의 값이므로 베타분포(Beta Distribution)를 사용할 수 있습니다. 설명을 위해 사전분포를 Beta(2, 18)로 설정하겠습니다. 이 사전분포의 평균은 0.10으로, 구매 전환율이 약 10%일 것이라는 사전 예상과 일치합니다.

단, 이 분포는 예시로 선택한 것이며 실제 연구에서는 기존 데이터와 연구 목적을 바탕으로 사전분포를 결정해야 합니다.

새로운 데이터 반영

100명 중 15명이 구매했다는 데이터를 관찰했습니다. 구매 여부를 독립적인 베르누이 시행으로 가정하면 구매자 수는 이항분포를 따르는 것으로 모형화할 수 있습니다. 베타 사전분포와 이항 가능도를 결합하면 사후분포는 다음과 같이 계산됩니다.

즉, 사후평균으로 추정한 구매 전환율은 약 14.2%입니다.

결과는 어떻게 해석할까요?

기존에는 구매 전환율이 약 10%라고 예상했지만, 실제 데이터에서 15%의 전환율이 관찰되었습니다. 베이지안 분석은 사전분포와 관찰된 데이터를 함께 반영하여 전환율에 대한 추정을 업데이트했습니다. 그 결과 사후평균은 약 14.2%로 나타났습니다.

관찰된 비율인 15%보다 조금 낮은 이유는 전환율이 10% 수준일 것이라는 사전 정보도 추정에 반영되었기 때문입니다. 이 결과만으로 신제품 페이지가 기존 페이지보다 효과적이라고 결론 내릴 수는 없습니다. 기존 페이지의 전환율과 불확실성에 대한 정보가 별도로 필요합니다.

또한 사후평균은 하나의 대표값일 뿐입니다. 실제 베이지안 분석에서는 사후분포 전체를 이용해 추정의 불확실성을 함께 살펴보는 것이 중요합니다.

신용구간은 사후분포를 바탕으로 모수가 특정 구간 안에 있을 확률을 표현합니다. 예를 들어 어느 교육 프로그램의 평균 효과에 대한 95% 신용구간이 [2.1, 7.8]이라고 가정해 보겠습니다.

선택한 모형과 사전분포, 관찰된 데이터를 전제로 할 때 교육 프로그램의 평균 효과가 2.1에서 7.8 사이에 있을 사후확률이 95%라는 의미입니다. 이는 빈도주의 통계에서 사용하는 신뢰구간(Confidence Interval)과 구분해야 합니다.

두 구간은 비슷한 형태의 숫자로 표현될 수 있지만 통계적 의미는 다릅니다. 특히 빈도주의 95% 신뢰구간을 계산한 뒤 참모수가 그 구간에 있을 확률이 95%라고 해석하는 것은 엄밀한 빈도주의 해석이 아닙니다.

예를 들어 새로운 교육 프로그램이 기존 프로그램보다 효과적인지 분석한다고 가정해 보겠습니다. 빈도주의 t검정에서는 일반적으로 두 모집단의 평균이 같다는 귀무가설을 설정하고, 관찰된 차이가 귀무가설 아래에서 얼마나 극단적인지 평가합니다.

반면 베이지안 분석에서는 적절한 모형과 사전분포를 설정하여 새로운 프로그램의 평균 효과가 0보다 클 사후확률 등을 계산할 수 있습니다. 다만 두 접근법은 단순히 어느 방법이 더 정확한지의 문제로 구분할 수 없습니다.

연구 목적과 데이터의 특성, 사전 정보의 신뢰성, 결과를 해석하려는 방식에 따라 적절한 접근법이 달라집니다.

베이즈 팩터는 서로 다른 두 가설 또는 모형에 대해 관찰된 데이터가 제공하는 상대적인 증거를 비교합니다. 예를 들어 두 집단의 평균 차이에 관해 다음 가설을 설정했다고 가정해 보겠습니다.

• H₀: 두 집단의 평균 차이가 0이다.
• H₁: 두 집단의 평균 차이가 0이 아니다.

베이즈 팩터 BF₁₀은 H₁ 아래에서 데이터가 얼마나 그럴듯한지를 H₀ 아래에서의 그럴듯함과 비교한 비율입니다. 각 가설의 주변가능도를 사용하며, H₁에 설정한 사전분포의 영향을 받습니다.

베이즈 팩터가 10이라고 해서 H₁이 참일 확률이 90.9%라는 뜻은 아닙니다. 가설의 사후확률을 계산하려면 베이즈 팩터뿐 아니라 각 가설의 사전확률도 필요하기 때문입니다.

p값과는 무엇이 다른가요?

p값은 귀무가설이 참이라는 조건에서 관찰된 검정통계량만큼 또는 그보다 극단적인 결과가 나올 확률입니다. 반면 베이즈 팩터는 두 가설이 데이터를 얼마나 잘 설명하는지 상대적으로 비교합니다.

특히 베이즈 팩터는 상황에 따라 대립가설을 지지하는 증거뿐 아니라 귀무가설을 상대적으로 지지하는 증거도 나타낼 수 있습니다. 다만 베이즈 팩터 역시 선택한 모형과 사전분포에 영향을 받으므로 숫자 하나만으로 결론을 내려서는 안 됩니다.

일반적인 t검정과 마찬가지로 연구 설계에 따라 여러 유형으로 구분할 수 있습니다.

예를 들어 기존 학습 방법을 적용한 학생 50명과 새로운 학습 방법을 적용한 학생 50명의 시험 점수를 비교한다고 가정해 보겠습니다. 일반적인 t검정에서는 t값과 p값을 통해 평균 차이가 통계적으로 유의한지 판단합니다.

베이지안 t검정에서는 평균 차이나 표준화된 효과크기에 대한 사후분포를 추정하거나, 두 가설의 상대적인 증거를 베이즈 팩터로 표현할 수 있습니다.

베이지안 t검정 결과 예시

실제 분석 결과는 데이터와 사전분포에 따라 달라집니다.

이 결과에서는 선택한 모형을 전제로 새로운 학습 방법을 적용한 집단의 평균 점수가 더 높을 사후확률이 99.5%로 나타났다고 해석할 수 있습니다. 또한 BF₁₀ = 8.4는 평균 차이가 없다는 가설보다, 설정된 대립가설 아래에서 데이터가 약 8.4배 더 그럴듯하다는 의미입니다.

다만 평균 차이가 양수일 사후확률과 베이즈 팩터는 서로 다른 질문에 답하는 지표이므로 구분해서 해석해야 합니다.

일반적인 분산분석(ANOVA)이 F통계량과 p값을 활용해 집단 평균 차이를 검정한다면, 베이지안 분산분석에서는 여러 모형을 비교하거나 요인 효과에 대한 사후분포를 추정할 수 있습니다. 예를 들어 세 가지 학습 방법이 시험 점수에 미치는 영향을 분석한다고 가정해 보겠습니다.

• A집단: 기존 강의식 학습
• B집단: 온라인 학습
• C집단: 토론 중심 학습

베이지안 분산분석에서는 집단 효과가 없는 모형과 집단 효과가 포함된 모형을 비교할 수 있습니다.

모형 비교 예시

BF₁₀이 12.5라면 집단 효과를 포함한 모형에서 관찰된 데이터가 집단 효과가 없는 모형보다 12.5배 더 그럴듯하다는 의미입니다. 하지만 이 결과만으로 어느 집단의 평균이 가장 높거나 어떤 집단 사이에 차이가 있는지는 알 수 없습니다.

구체적인 집단 간 차이를 확인하려면 사후비교를 수행하거나 집단 평균 차이에 대한 사후분포를 분석해야 합니다.

요인이 여러 개라면?

베이지안 분산분석은 이원분산분석처럼 여러 요인을 포함한 연구에도 활용할 수 있습니다. 예를 들어 학습 방법과 수업 형태가 시험 점수에 미치는 영향을 분석한다면 다음 효과들을 고려할 수 있습니다.

• 학습 방법의 주효과
• 수업 형태의 주효과
• 학습 방법 × 수업 형태의 상호작용 효과

이때 여러 모형의 상대적인 증거를 비교하거나 각 효과에 대한 사후분포를 추정할 수 있습니다.

기존 정보를 분석에 반영할 수 있습니다.

선행연구나 과거 데이터에서 얻은 정보를 사전분포로 표현할 수 있습니다. 예를 들어 기존 연구에서 반복적으로 비슷한 효과가 나타났다면 해당 정보를 새로운 연구의 분석에 반영할 수 있습니다. 다만 기존 정보가 부정확하거나 현재 연구와 맞지 않는다면 분석 결과에 좋지 않은 영향을 줄 수도 있습니다.

결과를 확률로 표현할 수 있습니다.

관심 있는 모수에 대해 특정 조건을 만족할 사후확률을 계산할 수 있습니다. 예를 들어 새로운 프로그램의 평균 효과가 0보다 클 확률이나 실제로 중요한 최소 효과를 초과할 확률을 계산할 수 있습니다. 이러한 결과는 통계적 추론뿐 아니라 의사결정에도 활용할 수 있습니다.

불확실성을 분포로 표현할 수 있습니다.

베이지안 분석에서는 단일 추정값뿐 아니라 사후분포를 확인할 수 있습니다. 이를 통해 어떤 값들이 상대적으로 그럴듯한지, 추정의 불확실성이 어느 정도인지 살펴볼 수 있습니다.

복잡한 모형으로 확장할 수 있습니다.

베이지안 접근법은 계층적 모형, 반복측정, 결측치 처리, 시계열 분석 등 다양한 통계모형에 적용할 수 있습니다. 특히 집단별 정보가 제한된 상황에서 계층적 구조를 이용하여 정보를 부분적으로 공유하는 모형을 구성할 수도 있습니다.

사전분포에 따라 결과가 달라질 수 있습니다.

베이지안 분석에서는 사전분포가 중요한 역할을 합니다. 특히 데이터가 적을 때는 사전분포가 사후분포에 상당한 영향을 미칠 수 있습니다. 따라서 사전분포를 선택한 이유를 명확하게 설명하고, 필요하다면 서로 다른 사전분포를 적용한 민감도 분석을 수행하는 것이 좋습니다.

계산이 복잡할 수 있습니다.

간단한 모형에서는 사후분포를 수학적으로 직접 계산할 수 있습니다. 하지만 복잡한 모형에서는 마르코프 연쇄 몬테카를로(MCMC)와 같은 계산 방법이 필요할 수 있습니다. 이러한 방법은 계산 시간이 길어질 수 있으며, 추정 결과가 충분히 안정적으로 수렴했는지 확인해야 합니다.

모형이 적절한지 확인해야 합니다.

베이지안 분석에서도 잘못된 통계모형을 사용하면 잘못된 결론에 도달할 수 있습니다. 예를 들어 데이터의 분포나 관측값의 독립성에 관한 가정이 적절하지 않다면 사후분포 역시 신뢰하기 어려울 수 있습니다.

따라서 사후예측점검(Posterior Predictive Check) 등을 통해 모형이 실제 데이터를 얼마나 잘 설명하는지 확인하는 것이 중요합니다.

사후확률을 무조건 객관적인 사실로 해석해서는 안 됩니다.

베이지안 분석에서 계산한 확률은 선택한 모형, 사전분포, 관찰된 데이터를 전제로 합니다. 따라서 특정 효과가 존재할 사후확률이 높게 나타났다고 해서 그 효과가 현실에서 반드시 존재한다고 확정할 수는 없습니다. 데이터 수집 과정과 연구 설계, 모형의 적절성을 함께 고려해야 합니다.

베이즈 팩터의 크기만으로 결론을 내리지 않아야 합니다.

베이즈 팩터가 크다고 해서 해당 가설이 절대적으로 참이라는 의미는 아닙니다. 비교한 가설의 설정과 사전분포에 따라 결과가 달라질 수 있으므로 상대적인 증거의 의미를 정확하게 이해해야 합니다.

교육 연구

교육 프로그램의 효과를 추정하거나 기존 연구 결과를 새로운 학습 효과 분석에 반영할 수 있습니다.

마케팅 및 경영

A/B 테스트에서 어느 상품이나 광고의 전환율이 더 높을 확률을 계산하거나 고객 행동에 관한 정보를 업데이트할 수 있습니다.

보건 및 의료 연구

치료 효과나 위험도에 관한 불확실성을 추정하고, 이전 연구의 정보를 새로운 임상 연구에 반영할 수 있습니다.

사회과학 연구

집단 간 차이, 변수 간 관계, 계층적 자료 구조 등을 베이지안 모형으로 분석할 수 있습니다.

금융 및 경제

위험 추정, 경제 지표 예측, 투자 수익률과 관련된 모수의 불확실성을 분석할 수 있습니다.

품질관리 및 제조업

제품 불량률이나 생산 공정의 성능을 추정하고, 새로운 검사 결과에 따라 기존 추정을 업데이트할 수 있습니다. 이처럼 베이지안 분석은 기존 정보와 새롭게 수집한 데이터를 함께 활용하거나 결과를 확률적으로 해석하려는 상황에서 유용합니다.

예를 들어 두 학습 방법의 평균 차이를 베이지안 t검정으로 분석했다면 다음과 같이 보고할 수 있습니다.

실제 연구에서는 어떤 사전분포를 사용했는지, 사후분포를 어떻게 계산했는지, 모형 진단 결과가 적절한지 등을 추가로 보고해야 합니다. 특히 MCMC를 사용했다면 수렴 진단과 유효표본크기 등 계산 결과의 신뢰성을 확인할 수 있는 정보를 제시하는 것이 좋습니다.

사전분포, 가능도, 사후분포를 중심으로 작동하며, 연구 목적에 따라 사후확률, 신용구간, 베이즈 팩터 등을 활용할 수 있습니다. 대표적으로 베이지안 t검정과 베이지안 분산분석이 있으며, 집단 간 평균 차이를 분석하거나 여러 요인의 효과를 비교하는 데 사용할 수 있습니다.

다만 베이지안 분석이 기존 통계분석을 무조건 대체하는 방법은 아닙니다. 연구 목적과 데이터의 특성, 사전 정보의 신뢰성, 통계모형의 적절성을 고려하여 선택해야 합니다.