잠재결과와 반사실

처치가 없었더라면 결과는 어떻게 달라졌을까요? 인과관계를 분석하려면 어떤 사람에게 특정한 처치가 주어졌을 때, 그 처치가 없었더라면 결과가 어떻게 달라졌을지 답할 수 있어야 합니다. 통계 교육 프로그램 참여자의 평균 성적이 80점이고 미참여자의 평균 성적이 70점이라면, 프로그램의 효과는 10점일까요? 반드시 그렇지는 않습니다. 프로그램에 참여한 학생들이 원래부터 공부를 더 잘했을 수도 있기 때문입니다. 인과추론은 관찰된 차이와 실제 처치효과를 구분하는 데서 출발합니다.

잠재결과(Potential Outcomes)는 동일한 대상이 처치를 받았을 때와 받지 않았을 때 각각 어떤 결과를 보였을지를 나타내는 개념입니다. 학생이 통계 교육 프로그램에 참여하는 상황이라면 프로그램에 참여했을 때의 성적과 참여하지 않았을 때의 성적, 두 가지를 생각할 수 있습니다.

처치는 교육 프로그램뿐 아니라 신약 복용, 정책 시행, 광고 노출, 직업훈련 참여 등 다양한 형태가 될 수 있습니다. 중요한 점은 잠재결과가 실제로 관찰된 결과만을 의미하지는 않는다는 것입니다. 처치를 받지 않은 학생이 프로그램에 참여했더라면 얻었을 성적도 잠재결과에 포함됩니다.

반사실(Counterfactual)은 실제로 일어난 상황과 달리, 다른 조건이 주어졌다면 발생했을 결과를 의미합니다. 한 학생이 프로그램에 참여해 80점을 받았다고 가정해 봅시다.

이 학생이 프로그램에 참여하지 않았더라면 70점을 받았을지, 78점을 받았을지는 직접 확인할 수 없습니다. 같은 학생을 같은 시점에 두 상황에 동시에 놓을 수 없기 때문입니다. 이것이 인과추론의 근본적인 문제(Fundamental Problem of Causal Inference)입니다. 한 대상에 대해서는 두 잠재결과 중 하나만 실제로 관찰할 수 있습니다.

• 처치를 받았다면 Y_i(1)을 관찰합니다.
• 처치를 받지 않았다면 Y_i(0)을 관찰합니다.

따라서 한 개인의 실제 처치효과를 단순히 두 결과의 차이로 계산할 수는 없습니다. 인과추론에서는 집단 간 비교와 통계적 가정을 활용해 관찰되지 않은 결과를 추론합니다.

개인 처치효과(Individual Treatment Effect)는 동일한 대상이 처치를 받았을 때와 받지 않았을 때의 결과 차이입니다.

실제 데이터에서는 두 점수를 모두 관찰할 수 없지만, 모의 자료에서는 모든 잠재결과를 미리 만들어 둘 수 있습니다. 그림 2는 학생 4,000명의 모의 세계에서 8명을 뽑아 본 "정답표"입니다.

개인 처치효과는 학생마다 다르고, 현실에서는 표의 회색 숫자를 볼 수 없습니다. 그래서 실증연구에서는 주로 집단의 평균적인 처치효과에 관심을 둡니다.

ATE와 ATT는 처치효과가 대상별로 다를 때 서로 달라질 수 있습니다. 그림 3의 모의 자료에서는 학업 동기가 낮은 학생에게 프로그램 효과가 더 크지만, 실제 참여자는 동기가 높은 학생이 많아 ATT(5.1점)가 ATE(5.9점)보다 작습니다. 참여자 구성에 따라 두 값이 달라지는 것입니다.

이제 같은 모의 자료에서 프로그램 참여자와 미참여자의 평균 성적을 비교해 봅시다.

그림 4처럼 관찰된 차이 +10점은 참여자의 실제 효과(ATT 5.1점)와, 참여자와 미참여자가 원래부터 달랐던 부분(선택 편향 4.9점)의 합입니다. 이 모의 자료에서는 차이의 절반가량이 프로그램이 아니라 원래 차이에서 나왔습니다.

따라서 관찰된 평균 차이 +10점만으로 프로그램이 성적을 10점 높였다고 결론 내리기는 어렵습니다. 인과효과를 추정하려면 처치집단과 비교집단이 처치를 제외한 다른 측면에서도 충분히 비교 가능한지 검토해야 합니다.

무작위 실험(Randomized Controlled Trial, RCT)은 대상자를 무작위로 처치집단과 통제집단에 배정하는 방법입니다.

무작위 배정을 적절히 수행하면 두 집단의 기초학력, 학업 동기 등 처치 이전의 특성이 평균적으로 비슷해질 것으로 기대할 수 있습니다.

그림 6처럼 스스로 참여한 경우에는 처치를 받지 않았을 때의 점수 Y(0)부터 두 집단이 4.9점 차이 나지만, 같은 학생들을 무작위로 나누면 그 차이가 0.3점으로 거의 사라집니다. 그 결과 무작위 배정 자료의 평균 차이(6.2점)는 ATE(5.9점)에 가깝고, 집단 간 평균 결과의 차이를 처치효과로 해석하기 위한 근거가 강해집니다.

물론 무작위 배정을 했다고 해서 모든 문제가 자동으로 해결되는 것은 아닙니다. 중도 탈락, 처치 불이행, 집단 간 정보 공유 등이 있으면 분석과 해석에 주의해야 합니다. 현실에서는 무작위 실험이 불가능한 경우도 많습니다. 이때는 관찰자료를 이용해 처치집단과 비교집단의 차이를 조정하거나, 특정한 정책 변화와 제도적 조건을 활용하는 방법을 고려합니다.

관찰자료에서는 연구자가 처치를 직접 무작위로 배정하지 않습니다. 따라서 처치집단과 비교집단의 차이가 처치 자체 때문인지, 집단의 기존 특성 때문인지 구분하기 어렵습니다. 이 문제를 다루기 위해 다양한 인과추론 방법이 사용됩니다.

이러한 방법은 서로 다른 가정과 자료 조건을 필요로 합니다. 어떤 방법이든 이름만 적용한다고 인과효과가 보장되는 것은 아닙니다. 특히 관찰자료에서는 다음과 같은 조건을 검토해야 합니다.

이 조건들의 의미와 진단 방법은 이후 장에서 구체적으로 살펴봅니다.

• 잠재결과는 처치를 받았을 때와 받지 않았을 때 각각 나타날 수 있는 결과입니다.
• 반사실은 실제로 관찰되지 않은 대안적 상황의 결과를 의미합니다.
• 동일한 대상의 두 잠재결과를 동시에 관찰할 수 없다는 점이 인과추론의 근본적인 문제입니다.
• ATE는 전체 대상의 평균 처치효과이고, ATT는 실제 처치받은 대상의 평균 처치효과입니다.
• 관찰된 집단 간 평균 차이가 반드시 인과효과인 것은 아닙니다.
• 무작위 배정과 관찰자료 기반 인과추론 방법은 이러한 문제를 해결하거나 완화하기 위한 접근입니다.

다음은 03 인과그래프입니다. 잠재결과가 인과효과를 정의하는 틀이라면, 다음 장에서는 변수들 사이의 인과관계를 DAG로 표현하고 교란 · 매개 · 충돌변수를 구분해 어떤 변수를 통제해야 하는지 살펴봅니다.