베이즈 정리와 확률 갱신

새로운 정보를 얻으면 기존의 판단이 달라질 수 있습니다. 어떤 질병이 드물다는 사실을 알고 있는 상태에서 검사 결과가 양성으로 나왔다면, 실제로 질병에 걸렸을 가능성은 얼마나 될까요? 검사 결과가 양성이라는 사실만으로 질병에 걸렸다고 단정할 수는 없습니다. 질병이 얼마나 흔한지, 검사가 얼마나 정확한지도 함께 고려해야 합니다. 베이즈 정리(Bayes’ theorem)는 이러한 상황에서 기존 확률을 새로운 증거에 맞춰 갱신하는 원리를 제공합니다.

베이즈 정리는 어떤 사건이 발생했다는 새로운 정보를 얻었을 때, 관심 있는 사건의 확률을 다시 계산하는 방법입니다.

핵심은 새로운 증거를 확인하기 전의 확률과 그 증거가 얼마나 잘 나타나는지를 함께 고려한다는 것입니다. 그림 1의 아래 식처럼 양성 결과는 진짜 환자에게서도, 질병이 없는 사람에게서도(위양성) 나올 수 있으므로 분모 P(B)에는 두 경로가 모두 들어갑니다. 그래서 사후확률은 검사 결과만으로 결정되지 않고, 검사 전 질병의 유병률과 검사 정확도가 모두 영향을 줍니다.

다음과 같은 가상의 질병 검사를 생각해 봅시다.

• 검사 대상자의 질병 유병률: 1%
• 질병이 있는 사람이 양성으로 나올 확률(민감도): 90%
• 질병이 없는 사람이 양성으로 나올 확률(위양성률): 5%

검사 결과가 양성이라면 실제로 질병에 걸렸을 확률은 얼마일까요? 확률을 사람 수로 바꾸면 이해하기 쉽습니다.

그림 2처럼 검사 대상자 10,000명 중 질병이 있는 사람은 100명, 없는 사람은 9,900명입니다. 질병이 있는 100명 중 90명이 양성이고, 질병이 없는 9,900명 중 495명도 양성으로 나옵니다. 양성 결과가 나온 사람은 총 585명이고, 이 중 실제로 질병이 있는 사람은 90명입니다.

즉, 이 가정에서는 검사 결과가 양성이더라도 실제 질병에 걸렸을 확률은 약 15.4%입니다. 검사의 민감도가 90%로 높더라도 질병 자체가 드물고 위양성이 발생할 수 있다면, 그림 3처럼 양성 판정자의 상당수가 실제 환자가 아닐 수 있습니다.

같은 검사라도 검사 대상 집단의 유병률이 달라지면 양성 결과의 의미도 달라집니다.

그림 4처럼 검사 정확도는 그대로인데 유병률이 1%에서 20%로 높아지면, 양성 결과가 나왔을 때 실제로 질병이 있을 확률은 15.4%에서 81.8%로 크게 높아집니다. 이는 베이즈 정리가 증거의 강도뿐 아니라 증거를 보기 전의 상황도 반영하기 때문입니다.

• 질병이 매우 드문 집단에서는 위양성의 영향이 상대적으로 커질 수 있습니다.
• 질병이 흔한 집단에서는 동일한 양성 결과가 실제 질병을 더 강하게 뒷받침할 수 있습니다.

베이즈 정리의 또 다른 특징은 갱신을 반복할 수 있다는 점입니다. 한 번 계산한 사후확률은 다음 증거를 볼 때의 사전확률이 됩니다.

그림 5처럼 첫 검사에서 양성이 나온 사람이 독립적인 두 번째 검사에서도 양성이라면, 사전확률 15.4%에서 다시 계산해 사후확률은 약 76.6%가 됩니다. 이 원리는 의료 검사에만 해당하지 않습니다. 제품 구매 가능성, 부정거래 탐지, 고객 이탈 예측 등에서도 기존 발생률과 새로운 증거를 함께 고려해야 합니다.

베이즈 정리는 사건의 확률뿐 아니라 통계모형의 모수에도 적용할 수 있습니다. 온라인 쇼핑몰의 실제 구매 전환율을 θ라고 하겠습니다.

그림 6은 전환율 후보를 1% 간격으로 나눠, 질병 검사에서 했던 계산을 후보마다 반복한 것입니다. 각 후보의 사전확률에 우도를 곱하고, 전체 합이 1이 되도록 나누면 사후분포가 됩니다. 이처럼 사후분포는 단순히 기존 추정값과 관찰값을 더한 결과가 아니라, 사전정보의 강도와 데이터의 정보량이 함께 반영된 결과입니다.

사전정보가 없거나 매우 약한 경우에도 적절한 사전분포를 설정해 분석할 수 있습니다. 다만 어떤 사전분포를 선택했는지와 그 선택이 결과에 미치는 영향을 확인하는 것이 중요합니다.

조건부확률은 어떤 조건이 주어졌을 때 사건이 일어날 확률을 나타냅니다. 베이즈 정리는 그 조건부확률을 이용해 반대 방향의 조건부확률을 계산하는 원리입니다.

• P(B | A): 질병이 있는 사람에게서 양성이 나올 확률 — 검사 민감도와 관련 (90%)
• P(A | B): 양성이 나온 사람에게 실제 질병이 있을 확률 — 양성 판정의 의미와 관련 (15.4%)

두 확률을 같은 것으로 착각하면 검사 결과를 과도하게 해석할 수 있습니다.

• 베이즈 정리는 새로운 증거를 이용해 기존 확률을 갱신하는 원리입니다.
• 사후확률은 사전확률, 증거의 발생 가능성, 전체 증거의 확률을 함께 고려해 계산합니다.
• 검사 민감도가 높더라도 질병 유병률이 낮으면 양성 결과의 실제 의미가 예상과 다를 수 있습니다.
• 베이지안 통계에서는 이 원리를 확장해 모수의 사전분포와 데이터의 우도를 결합하고 사후분포를 구합니다.
• 사전정보의 설정 근거와 데이터의 질, 모형의 적절성을 함께 검토해야 합니다.

다음은 03 사전분포와 사후분포입니다. 사전분포와 우도가 각각 어떤 역할을 하고, 두 정보가 어떻게 결합해 사후분포를 만드는지 자세히 살펴봅니다.