베이지안 회귀

회귀분석은 여러 설명변수가 결과변수와 어떤 관계를 갖는지 분석하는 방법입니다. 광고비, 가격, 계절이 매출과 어떤 관계가 있는지 살펴보는 것이 그런 예입니다. 베이지안 회귀(Bayesian Regression)는 여기서 한 걸음 더 나아가, 각 회귀계수를 하나의 고정된 값으로만 추정하는 대신 데이터와 사전정보를 바탕으로 가능한 계수값의 확률분포를 추정합니다. 이를 통해 변수와 결과의 관계뿐 아니라, 그 관계가 얼마나 불확실한지도 함께 파악할 수 있습니다.

일반적인 선형회귀분석은 다음과 같은 관계를 가정합니다.

베이지안 회귀에서는 회귀계수 β에 사전분포를 설정하고, 관측한 데이터의 우도와 결합해 사후분포를 구합니다.

즉, 사전에 가정한 계수의 분포를 실제 데이터에 비추어 갱신하는 것입니다. 03장의 전환율 하나가 회귀계수 여러 개로 바뀌었을 뿐, 원리는 같습니다.

회귀계수는 다른 설명변수들을 일정하게 유지했을 때, 특정 설명변수가 한 단위 증가하는 것과 관련된 결과변수의 평균 변화량을 나타냅니다. 이 장에서는 다음 모형을 사용합니다.

실제 해석에서는 변수의 측정 단위와 코딩 방식을 확인해야 합니다. 계절이 봄 · 여름 · 가을 · 겨울처럼 범주형 변수라면 기준 범주와 비교해 해석합니다. 또한 회귀계수가 양수라고 해서 광고비 증가가 반드시 매출 증가의 원인이라고 단정할 수는 없습니다. 관측자료에서는 다른 요인이 관계에 영향을 줄 수 있기 때문입니다.

베이지안 회귀의 중요한 특징은 회귀계수마다 사후분포를 얻는다는 것입니다. 이를 이용하면 계수의 대표값뿐 아니라 가능한 값의 범위와 특정 조건이 성립할 확률도 계산할 수 있습니다.

그림 2는 모의 36주 자료에 약한 정보성 사전분포 β_j ~ N(0, 10²)를 두고 계산한 광고비 계수의 사후분포입니다.

• 사후평균 2.4: 광고비가 100만 원 늘 때 매출이 평균적으로 약 2.4백만 원 높은 관계라는 대표값입니다.
• 95% 신용구간 0.9~3.8: 주어진 모형과 데이터 아래에서 회귀계수가 이 구간에 있을 사후확률이 95%라는 의미입니다.
• 계수가 양수일 확률: P(β₁ > 0 | D) = 0.999로, 광고비와 매출 사이의 양의 관계를 강하게 뒷받침합니다. 실무적으로 의미 있는 기준을 넘을 확률, 예를 들어 P(β₁ > 1 | D) = 0.97도 같은 방식으로 계산할 수 있습니다.

그림 3처럼 사전분포가 약하고 데이터가 충분하면 베이지안 신용구간과 빈도주의 신뢰구간은 숫자가 거의 같습니다. 차이는 해석에 있습니다. 가격 계수는 구간이 0을 넓게 포함해, 빈도주의에서는 p = 0.56로 "유의하지 않음"이라고만 말하지만, 베이지안에서는 가격 계수가 음수일 사후확률이 약 73%라고 표현할 수 있습니다.

사후분포에서 계수 묶음을 여러 번 뽑아 회귀선을 그리면 그림 4처럼 관계의 불확실성이 눈에 보입니다. 선들이 모이는 가운데보다 자료가 적은 양 끝에서 더 넓게 퍼지며, 이 퍼짐이 예측의 불확실성으로 이어집니다. 계수가 양수일 확률이 높더라도 그 크기가 실무적으로 중요한지는 별도로 판단해야 합니다.

두 접근법 중 하나가 언제나 더 정확한 것은 아닙니다. 베이지안 회귀는 사전정보를 명시적으로 반영하고 확률적 해석을 제공하지만, 사전분포의 선택과 모형 설정이 결과에 영향을 줄 수 있습니다.

회귀계수의 사전분포는 분석 전에 해당 계수가 어떤 값을 가질 수 있는지에 대한 가정을 표현합니다. 계수가 0 근처에 있을 것으로 예상하되 큰 값도 가능하게 하려면 정규분포를 이용한 약한 정보성 사전분포를 고려할 수 있습니다.

그림 5처럼 τ = 10이면 36주 자료에서 광고비 계수가 2.40로 추정되지만, τ = 0.5로 좁히면 0.61로 0 쪽으로 크게 당겨집니다. 데이터가 12주뿐이면 같은 τ에서도 결과가 더 크게 흔들립니다. 사전분포를 선택할 때는 다음 사항을 고려합니다.

1. 변수의 단위: 광고비를 원 단위로 쓰는지, 백만 원 단위로 쓰는지에 따라 계수의 크기가 달라지므로, 같은 τ라도 의미가 달라집니다.
2. 기존 지식: 이전 연구나 분야의 지식이 있다면 합리적인 사전정보로 반영할 수 있습니다.
3. 민감도 분석: 사전분포를 다르게 설정했을 때 주요 결론이 얼마나 달라지는지 확인합니다.

사전분포를 무조건 넓게 설정한다고 항상 더 객관적인 분석이 되는 것은 아닙니다. 데이터가 적거나 설명변수 간 상관이 높을 때는 사전분포가 추정 결과에 특히 큰 영향을 줄 수 있습니다.

베이지안 회귀는 결과변수의 유형에 따라 여러 형태로 사용할 수 있습니다.

로지스틱 회귀에서는 회귀계수가 직접적으로 확률의 변화량을 나타내지 않습니다. 계수는 로그 오즈(log-odds) 척도에 있으므로, 지수화한 계수는 오즈비로 해석할 수 있습니다. 계층적 베이지안 회귀는 여러 집단의 자료를 함께 분석하면서 집단별 차이도 반영하며, 10장 「계층적 베이지안 모형」에서 더 자세히 살펴봅니다.

베이지안 방법을 사용한다고 모형의 문제까지 자동으로 해결되는 것은 아닙니다.

그림 6의 오른쪽은 광고비와 가격의 상관이 0.98인 자료입니다. 광고비 계수와 가격 계수의 사후표본이 대각선으로 길게 늘어서(상관 -0.97) 한 계수가 커지면 다른 계수가 작아지는 식으로 맞바뀌며, 광고비 계수의 95% 신용구간이 [-5.8, 8.1]로 크게 넓어집니다. 베이지안 회귀도 데이터가 구분할 수 없는 것을 구분해 주지는 않습니다.

특히 복잡한 모형에서는 사후분포를 계산하는 방법이 중요합니다. 이 장의 그림들도 사후분포를 직접 식으로 쓰는 대신 사후분포에서 표본을 반복해서 뽑는 방법(Gibbs 표집)으로 계산했습니다. 회귀계수의 사후분포를 분석적으로 구하기 어려운 경우에는 이처럼 MCMC 같은 계산 방법을 활용합니다.

• 베이지안 회귀는 회귀계수를 단일 추정값뿐 아니라 사후분포로 분석합니다.
• 신용구간과 사후확률을 이용해 계수의 불확실성을 해석할 수 있습니다.
• 사전분포는 추정 결과에 영향을 줄 수 있으므로 합리적으로 설정하고 민감도를 확인해야 합니다.
• 베이지안 회귀 역시 모형의 가정과 데이터의 한계를 검토해야 합니다.

다음은 08 MCMC — 마르코프 연쇄 몬테카를로입니다. 복잡한 베이지안 모형에서 사후분포를 어떻게 계산하는지 알아봅니다.