베이지안 t검정과 ANOVA

두 집단의 평균이 다른지, 여러 집단 중 어떤 차이가 있는지 알아보는 것은 자주 등장하는 문제입니다. 새로운 교육 프로그램을 적용한 학생과 적용하지 않은 학생의 성적을 비교하거나, 세 가지 광고의 평균 구매 의향을 비교하는 것이 그런 예입니다. 빈도주의에서는 t검정과 분산분석(ANOVA)을 이용해 집단 차이를 검정합니다(분산분석 파트). 베이지안 접근에서는 평균 차이와 집단 간 차이에 대한 불확실성을 확률분포로 표현하고, 관찰된 데이터가 각 가설을 얼마나 뒷받침하는지 평가할 수 있습니다.

베이지안 집단 비교는 집단별 데이터를 이용해 평균이나 효과 크기의 사후분포를 추정하고, 그 차이를 해석하는 방법입니다. 온라인 교육 프로그램의 효과를 평가한다고 가정해 봅시다.

그림 1처럼 기존 교육 방식(A) 평균은 72점, 새로운 교육 방식(B) 평균은 78점으로 관찰된 평균 차이는 6점입니다. 하지만 표본에서 나타난 차이만으로 모집단의 실제 평균 차이가 정확히 6점이라고 단정할 수는 없습니다. 베이지안 분석에서는 평균 차이를 하나의 숫자로만 제시하는 대신 다음을 평가할 수 있습니다.

• 평균 차이가 어느 정도일 것으로 추정되는가?
• 새로운 교육 방식이 더 높은 성적을 낼 확률은 얼마인가?
• 평균 차이가 실질적으로 의미 있는 기준을 넘을 확률은 얼마인가?
• 두 집단이 차이가 없다는 가설과 차이가 있다는 가설 중 어느 쪽이 데이터를 더 잘 설명하는가?

이 질문들은 서로 관련되어 있지만 같은 질문은 아닙니다. 특히 평균 차이의 사후확률을 계산하는 것과 베이즈 팩터로 두 가설을 비교하는 것은 구분해야 합니다.

베이지안 t검정(Bayesian t-test)은 두 집단의 평균 차이를 베이지안 방식으로 분석합니다. 독립적인 두 집단을 비교하는 경우 관심 대상은 평균 차이입니다.

그림 2는 평균 차이에 사전분포 N(0, 10²)를 두고 계산한 사후분포입니다. 관찰된 차이 6점은 사전분포의 영향으로 사후평균 5.4점으로 조금 줄었고, P(Δ > 0 | D) = 0.96입니다. 이는 주어진 모형과 사전분포, 관찰된 데이터 아래에서 B 집단의 모집단 평균이 A 집단보다 높을 사후확률이 약 96%라는 뜻입니다. 같은 분포에서 실질적으로 의미 있다고 정한 3점을 넘을 확률은 0.78, 10점을 넘을 확률은 0.07입니다.

이 결과는 평균 차이가 5.4점으로 확정되었다거나, 새로운 교육 방식이 반드시 효과적이라는 의미는 아닙니다. 95% 신용구간 [-0.8, 11.6]이 0을 살짝 포함할 만큼 불확실성이 크므로, 차이의 크기와 불확실성, 연구 설계 등을 함께 고려해야 합니다.

평균 차이가 양수일 확률이 높다는 사실과, 차이가 없다는 가설보다 차이가 있다는 가설을 얼마나 더 지지하는지는 구별해야 합니다. 같은 자료에서 P(Δ > 0)은 0.96로 높지만, 효과 크기에 코시 사전분포(폭 r = 0.707)를 둔 베이즈 팩터는 BF₁₀ ≈ 1.01로 두 가설을 거의 구별하지 못합니다. 그림 3처럼 사전분포 폭을 넓히면 베이즈 팩터는 오히려 귀무가설 쪽으로 기웁니다(05장 7절). 베이즈 팩터는 가설을 어떻게 정의하고 사전분포를 어떻게 설정했는지에 따라 달라집니다.

또한 차이가 있을 가능성이 높더라도 그 차이가 실무적으로 중요한지는 별도로 판단해야 합니다. 교육 점수 0.5점의 차이와 10점의 차이는 같은 의미를 갖지 않습니다.

베이지안 t검정에서도 자료가 어떻게 수집되었는지에 따라 분석 방법이 달라집니다.

대응표본에서는 개인별 변화량을 분석하는 것이 핵심입니다. 그림 4처럼 같은 30명의 사전 · 사후 점수를 독립된 두 집단처럼 분석하면 학생 간 원래 실력 차이가 불확실성에 섞여 신용구간이 넓어지고(P(변화 > 0) = 0.84), 개인별 변화량으로 분석하면 구간이 훨씬 좁아집니다(P(변화 > 0) > 0.99). 같은 사람에게서 얻은 두 측정값은 서로 관련되어 있으므로 독립적인 관측값처럼 처리하면 안 되며, 어떤 유형을 선택할지는 데이터의 구조와 연구 설계에 따라 결정해야 합니다.

ANOVA는 세 집단 이상에서 평균 차이를 비교할 때 자주 사용합니다. 세 가지 광고 A, B, C의 평균 구매 의향을 비교한다고 가정해 봅시다.

베이지안 ANOVA에서는 집단별 평균과 집단 간 차이를 모형화하고, 데이터가 "세 집단의 평균이 모두 같다"는 가설과 "적어도 한 집단의 평균이 다르다"는 가설을 얼마나 뒷받침하는지 베이즈 팩터로 비교할 수 있습니다. 또는 그림 5처럼 집단별 평균의 사후분포를 구해 각 집단의 평균과 불확실성을 직접 살펴볼 수도 있습니다.

이 모의 자료에서 빈도주의 ANOVA는 F = 3.28, p = 0.041로 유의하지만, BIC로 근사한 베이즈 팩터는 약 0.22로 오히려 "모두 같다"는 가설을 조금 더 지지합니다. p값이 .05 근처일 때 두 지표가 다른 이야기를 하는 일은 드물지 않으며, 어느 한 숫자만으로 결론을 내리지 않는 것이 중요합니다.

세 집단 이상을 비교할 때 전체적으로 집단 차이가 있다는 결과만으로 어떤 집단끼리 차이가 나는지 알 수 있는 것은 아닙니다. 분석 목적에 따라 다음을 추가로 살펴볼 수 있습니다.

• 각 집단 평균의 사후분포
• 집단 간 평균 차이의 사후분포
• 특정 집단이 다른 집단보다 높을 사후확률
• 전체 가설과 특정 쌍의 비교에 대한 베이즈 팩터

그림 6처럼 사후분포에서 쌍별 차이를 계산하면, 광고 B가 A보다 높을 사후확률은 0.99이지만 C가 A보다 높을 확률은 0.80에 그칩니다. 같은 사후 표본으로 "B가 세 광고 중 가장 높을 확률"(0.95)처럼 실무적인 질문에도 바로 답할 수 있습니다. 여러 집단의 모든 쌍을 비교한다면 비교 대상과 가설을 명확하게 정의하고, 결과를 선택적으로 보고하지 않도록 연구 목적에 맞는 비교 계획을 세우는 것이 중요합니다.

베이지안 방법이 언제나 더 좋은 것은 아닙니다. 분석 목적, 표본 크기, 사전정보의 신뢰성, 모형의 복잡성 및 결과를 전달할 대상에 따라 적절한 방법을 선택해야 합니다.

• 베이지안 t검정은 두 집단의 평균 차이를 사후분포로 추정합니다.
• 베이지안 ANOVA는 세 집단 이상의 평균 차이를 평가합니다.
• 평균 차이가 양수일 사후확률과 베이즈 팩터는 서로 다른 질문에 답합니다.
• 전체 집단 간 차이가 있다는 결과만으로 어떤 집단끼리 다른지 알 수는 없습니다.
• 표본의 구조, 사전분포, 모형 가정과 실질적 효과 크기를 함께 고려해야 합니다.

다음은 07 베이지안 회귀입니다. 여러 설명변수가 결과변수와 어떤 관계를 갖는지 분석하고, 회귀계수의 불확실성을 베이지안 방식으로 해석하는 방법을 알아봅니다.