인과추론의 가정과 진단

분석 결과가 나왔다는 것과 그 결과를 인과효과로 믿을 수 있다는 것은 다릅니다. 정책 시행 후 고용률이 상승했고, 회귀분석에서도 정책 효과가 통계적으로 유의하게 나타났다고 해서 정책이 실제로 고용률을 높였다고 결론 내릴 수는 없습니다. 같은 시기에 경기가 회복되었거나, 정책 대상 지역이 원래부터 더 빠르게 성장하고 있었을 수도 있습니다. 분석 방법이 적절해 보여도 핵심 가정이 성립하지 않으면 추정 결과를 인과효과로 해석하기 어렵습니다. 인과추론에서 중요한 것은 효과를 계산하는 것뿐 아니라, 그 효과를 인과적으로 해석하기 위해 어떤 가정이 필요한지 확인하고, 그 가정이 얼마나 타당한지 진단하는 것입니다.

인과추론에서는 관찰된 결과와 정책이 없었을 때의 결과를 비교하려고 하지만, 동일한 대상에게 정책을 시행한 경우와 시행하지 않은 경우를 동시에 관찰할 수는 없습니다(02장). 따라서 적절한 비교집단이나 통계적 방법을 이용해 관찰할 수 없는 반사실적 결과를 추정하며, 이 과정은 특정 가정에 의존합니다.

모든 방법에 동일한 진단을 적용하는 것은 아닙니다. 분석 방법에 따라 핵심 가정이 다르므로, 해당 방법에 맞는 검토가 필요합니다.

평행추세는 이중차분법(DID)에서 가장 중요한 가정 중 하나입니다. 정책 시행 지역과 비교 지역의 결과가 정책 시행 전부터 완전히 같아야 한다는 뜻은 아니며, 정책이 시행되지 않았더라면 두 집단의 결과가 평균적으로 비슷한 추세로 변화했을 것인지가 중요합니다.

그림 1의 오른쪽처럼 정책 시행 전에 두 집단의 추세가 크게 달랐다면, 정책 시행 후 관찰된 차이가 정책 때문인지 기존 추세의 연장인지 구분하기 어려워집니다.

• 정책 시행 전 여러 시점의 결과를 그래프로 비교합니다.
• 사건연구(Event Study) 모형으로 시행 전 시점의 추정계수를 살펴봅니다.
• 정책 시행 이전의 가상 시점을 사용해 위약검정을 수행할 수 있습니다.
• 집단별로 다른 정책이나 충격이 있었는지 확인합니다.

다만 시행 전 추세가 비슷해 보이거나 사전 계수가 통계적으로 유의하지 않다고 해서 평행추세가 증명되는 것은 아닙니다. 사전 기간이 짧거나 표본이 작으면 차이를 발견하지 못할 수도 있습니다. 평행추세는 관찰 자료만으로 완전히 검증할 수 없는 반사실적 가정입니다.

성향점수매칭(PSM)에서는 처치집단과 비교집단에 서로 비교할 만한 대상이 존재하는지 확인해야 합니다. 처치집단에 고소득 · 고학력 대상만 있고 비교집단에는 저소득 · 저학력 대상만 있다면, 두 집단을 공정하게 비교하기 어렵습니다.

1. 처치집단과 비교집단의 성향점수 분포를 비교합니다.
2. 분포가 겹치지 않는 영역이 있는지 확인합니다.
3. 공통지지가 부족한 대상을 제외할지 검토합니다.
4. 제외 전후의 표본 구성과 추정 대상이 어떻게 달라지는지 보고합니다.

그림 2처럼 성향점수가 극단적인 대상을 제외하면 매칭이 불가능하거나 외삽에 의존하는 비교를 피할 수 있지만, 추정 결과가 전체 모집단이 아니라 비교 가능한 일부 대상에 대한 효과로 바뀝니다. 따라서 표본을 제외했다는 사실뿐 아니라, 그 결과 어떤 집단에 대한 효과를 추정하게 되었는지도 설명해야 합니다.

교란은 처치와 결과 모두에 영향을 주는 요인 때문에 관찰된 관계가 왜곡되는 문제입니다. 건강 교육 프로그램에 자발적으로 참여한 사람과 참여하지 않은 사람을 비교할 때, 원래 건강관리에 관심이 많은 사람이 프로그램에 더 많이 참여한다면 이 관심도는 참여와 건강 결과 모두에 영향을 줍니다. 이때 결과 차이를 전부 프로그램 효과라고 해석하면 편향이 발생합니다.

• 처치와 결과 모두에 영향을 줄 수 있는 사전 공변량을 검토합니다.
• 성향점수매칭이나 회귀 조정 후 공변량 균형을 확인합니다(|SMD| < 0.1은 참고 기준일 뿐 절대적인 통과 기준은 아님).
• 자료에 포함되지 않은 교란요인이 있을 가능성을 평가합니다.
• 참여 여부나 표본 포함 여부가 결과와 관련되는 선택편향을 검토합니다.

관측된 공변량의 균형이 좋아졌다고 해서 관측되지 않은 교란까지 사라진 것은 아닙니다(05장 그림 5). 또한 변수를 많이 통제한다고 항상 편향이 줄어드는 것도 아니며, 매개변수나 충돌변수를 부적절하게 통제하면 오히려 편향이 생길 수 있습니다(03장).

회귀불연속설계는 기준점 부근에서 처치가 없었을 때의 잠재결과가 갑자기 달라지지 않았을 것이라는 가정에 기대어 기준점 바로 위와 아래를 비교합니다.

그림 3은 07장의 장학금 모의 자료에서 실제 기준점(80점)과 가짜 기준점들의 불연속을 추정한 결과입니다. 실제 기준점에서는 +0.25의 점프가 나타나지만, 가짜 기준점들에서는 0 주변에 머뭅니다. RDD는 기준점 주변의 국소적인 효과를 추정하므로, 기준점과 멀리 떨어진 대상이나 전체 모집단에 동일한 효과가 적용된다고 단정해서는 안 됩니다.

도구변수가 있다는 이유만으로 인과효과가 식별되는 것은 아닙니다.

관련성은 1단계 회귀와 도구변수 강도 진단으로 살펴볼 수 있습니다(08장 그림 5). 그러나 외생성과 배제제약은 데이터만으로 완전히 검증하기 어려워, 연구 제도와 도구변수가 만들어진 과정에 대한 설명이 중요합니다. 도구변수가 여러 개인 경우 과식별 제약 검정을 활용할 수 있지만, 검정을 통과했다고 모든 도구변수가 유효하다는 뜻은 아닙니다.

민감도 분석은 분석에 사용한 가정이나 설정을 바꾸었을 때 결과가 얼마나 달라지는지 확인하는 과정입니다. 정책 효과가 5%p로 추정되었더라도, 통제변수 구성을 조금 바꾸거나 비교집단을 변경하거나 일부 관측치를 제외했을 때 추정치가 크게 달라진다면 결과의 안정성을 더 면밀하게 살펴봐야 합니다.

그림 4처럼 여러 설정의 추정치를 한 그림에 나란히 보이면 결론이 특정 설정에만 기대고 있는지 쉽게 확인할 수 있습니다.

그림 5는 측정하지 못한 교란이 얼마나 강해야 추정치 5%p를 0으로 만들 수 있는지 보여 줍니다. 가로축은 그 교란이 처치집단과 비교집단 사이에서 얼마나 다른지, 세로축은 결과에 얼마나 영향을 주는지이며, 둘의 곱이 5%p가 되는 빨간 곡선 위쪽의 교란이면 결론이 뒤집힙니다. 파란 점처럼 이미 측정한 가장 강한 공변량들과 비교하면, "그만한 교란이 남아 있을 법한가"를 연구자가 판단할 수 있습니다. 민감도 분석은 결과가 얼마나 강건한지 이해하는 데 도움이 되지만, 여러 설정 중 원하는 결과가 나오는 것만 선택해서 보고해서는 안 됩니다. 설정을 바꾼 이유와 결과를 함께 투명하게 제시해야 합니다.

• 통계적 유의성: 설정한 통계 모형과 가정 아래에서 추정치가 0과 구별되는 정도에 관한 판단입니다.
• 인과적 타당성: 추정된 차이를 실제 처치나 정책의 효과로 해석할 근거가 충분한지에 관한 판단입니다.

정책 효과가 통계적으로 유의하더라도, 정책 시행 시점에 경기 회복이 함께 발생했다면 정책 효과와 경기 효과가 섞였을 수 있습니다. 반대로 효과가 통계적으로 유의하지 않다고 해서 효과가 전혀 없다는 사실이 증명되는 것도 아닙니다. 따라서 결과를 평가할 때는 p값만 보지 말고 추정 효과의 크기와 신뢰구간, 연구 설계와 핵심 식별 가정, 가정에 대한 진단 결과, 대체 설정과 민감도 분석, 결과를 적용할 수 있는 대상과 범위를 함께 확인해야 합니다.

인과효과를 보고할 때는 숫자뿐 아니라 그 숫자를 어떻게 얻었는지, 어디까지 해석할 수 있는지 함께 설명해야 합니다.

두 번째 보고는 분석 방법, 효과의 의미, 진단 내용과 한계를 함께 제시합니다. 실제 연구에서는 추정치의 신뢰구간, 표본과 기간, 비교집단 구성, 구체적인 진단 결과도 추가하는 것이 좋습니다.

인과추론 결과를 해석하기 전에 다음 항목을 확인해 보세요.

• 평행추세: DID에서 정책이 없었을 때 두 집단의 추세가 비슷했을 것인가?
• 공통지지: PSM에서 처치집단과 비교집단에 비교 가능한 대상이 존재하는가?
• 연속성: RDD에서 기준점 주변의 잠재결과가 갑자기 달라지지 않았을 것인가?
• 도구변수의 타당성: IV에서 관련성, 외생성, 배제제약이 타당한가?
• 시행 전 적합도: SCM에서 합성통제 지역이 정책 시행 전 실제 지역을 잘 재현하는가?
• 민감도 분석: 합리적인 다른 설정에서도 결과가 얼마나 유지되는가?

인과추론 11개 주제를 마치며

이번 파트에서는 상관관계와 인과관계의 차이에서 출발해 잠재결과, 인과그래프, 무작위 실험, PSM, DID, RDD, IV, 합성통제법, 패널자료 분석, 그리고 인과추론의 가정과 진단까지 살펴보았습니다. 핵심은 특정 분석 기법을 적용하는 데 그치지 않는 것입니다. 무엇을 비교하고 있는지, 어떤 가정으로 반사실을 추정하는지, 그 가정이 얼마나 타당한지 설명할 수 있어야 인과효과를 책임 있게 해석할 수 있습니다.