합성통제법
Synthetic Control Method · 비교 대상을 조합해 정책이 없었을 때를 추정하기
정책이 시행된 지역은 하나뿐인데, 무엇과 비교해야 할까요? 어느 한 지역에서 청년 고용 지원 정책을 시행한 뒤 해당 지역의 고용률이 상승했더라도, 경기가 회복되었거나 다른 지역에서도 고용률이 함께 상승했다면 정책의 효과만 따로 구분하기 어렵습니다. 이때 정책이 시행되지 않은 여러 지역의 특성을 가중치로 조합해, 실제 정책 시행 지역과 비슷한 가상의 지역을 만들 수 있습니다. 이것이 합성통제법(Synthetic Control Method, SCM)의 핵심 아이디어입니다.
합성통제법은 왜 필요한가?
일반적인 비교에서는 정책 시행 지역과 미시행 지역을 비교합니다. 하지만 두 지역의 경제 구조, 인구 구성, 과거 추세가 다르면 정책 시행 전부터 결과가 서로 다르게 움직였을 수 있습니다. 합성통제법은 비교 지역 하나를 임의로 선택하는 대신, 여러 비교 지역을 적절한 비율로 결합해 정책 시행 지역과 유사한 비교 대상을 구성합니다.
가중치는 임의로 정하는 것이 아니라, 정책 시행 전의 결과 추세와 관련 특성이 실제 지역과 최대한 비슷해지도록 추정합니다. 합성통제 지역은 실제로 존재하는 하나의 지역이 아니라, 여러 지역의 데이터를 결합해 만든 비교 기준입니다.
합성통제법의 기본 구조
- 정책 시행 전: 실제 지역과 합성통제 지역의 결과가 비슷하도록 가중치를 정합니다.
- 정책 시행 후: 두 지역의 결과가 얼마나 벌어지는지 비교합니다.
- 두 결과의 차이: 다른 조건과 가정이 적절하다면 정책 효과의 추정치로 해석할 수 있습니다.
중요한 점은 정책 시행 후의 결과를 맞추도록 가중치를 정하는 것이 아니라, 정책 시행 전의 자료만 이용해 비교 대상을 구성한다는 것입니다.
가중치는 어떻게 결정할까?
합성통제법에서는 비교 대상 지역 j에 가중치 wj를 부여합니다.
Yjt: 비교 지역 j의 시점 t 결과 · Ŷ1tSC: 합성통제 지역의 추정 결과
각 지역의 가중치는 음수가 아니며 모든 가중치의 합은 1입니다. 세 지역의 가중치가 A 0.50, B 0.30, C 0.20이라면 각 시점의 합성통제 결과는 세 지역 결과를 이 비율로 섞은 값입니다. 실제 가중치는 정책 시행 전의 결과 추세와 인구, 소득, 산업 구조 등 관련 특성이 실제 정책 지역과 가까워지도록 선택합니다.
그림 2는 모의 비교 지역 12곳의 2011~2020년 고용률로 가중치를 추정한 결과입니다. 12곳 가운데 6곳만 의미 있는 가중치를 받고 나머지는 0에 가깝습니다. 합성통제법의 가중치는 이처럼 소수의 지역에 모이는 경우가 많아, 어떤 지역이 비교 기준을 이루는지 해석하기 쉽습니다.
정책 효과는 어떻게 계산할까?
합성통제법의 효과 추정치는 실제 정책 지역의 결과에서 합성통제 지역의 추정 결과를 뺀 값입니다.
τ̂t: 정책 시행 이후 시점 t의 효과 추정치
원리를 설명하기 위한 가상의 고용률 자료를 보겠습니다.
| 시점 | 실제 정책 지역 | 합성통제 지역 | 차이 |
|---|---|---|---|
| 시행 전 1년 | 60% | 59% | +1%p |
| 시행 전 | 61% | 60% | +1%p |
| 시행 후 1년 | 70% | 64% | +6%p |
| 시행 후 2년 | 73% | 65% | +8%p |
정책 시행 후 1년의 단순 차이는 6%p이지만, 시행 전에도 두 지역 사이에 1%p의 차이가 있었습니다. 시행 전 차이가 그대로 유지되었을 것이라고 가정해 단순 보정하면 시행 후 1년의 효과는 약 5%p, 2년은 7%p입니다. 다만 실제 합성통제법은 단순히 시행 전 마지막 차이 하나를 빼는 방법이 아니며, 여러 시점의 결과 추세와 관련 특성을 반영해 시행 전 차이 자체가 거의 없도록 합성통제 지역을 구성합니다.
그림 3과 4의 모의 자료에서 시행 전 10년 동안 실제와 합성의 차이는 평균 제곱근 0.16%p로 거의 없고, 시행 후에는 +3.1%p에서 +7.7%p로 벌어집니다. 이는 모의 자료에 넣은 실제 효과(+3%p에서 +7%p)를 잘 따라갑니다.
분석은 어떤 순서로 진행할까?
어느 지역에서 어떤 정책이 언제 시작되었는지 명확히 정합니다.
정책의 영향을 직접 받지 않았고, 비교 가능한 자료가 충분한 지역을 선택합니다.
정책 시행 전의 결과 추세와 관련 특성이 실제 지역과 최대한 가까워지도록 가중치를 정합니다.
시행 이후 실제 결과와 합성통제 결과의 차이를 계산합니다.
시행 전 적합도, 위약검정, 비교 지역의 적절성 등을 확인합니다.
가장 중요한 진단: 시행 전 적합도
합성통제법에서는 정책 시행 전에 실제 지역과 합성통제 지역이 얼마나 비슷했는지가 중요합니다.
그림 5의 오른쪽처럼 시행 전 두 지역의 결과가 크게 다르면, 시행 후의 차이가 정책 때문인지 원래부터 존재하던 차이 때문인지 판단하기 어렵습니다. 정책 지역의 고용률이 모든 비교 지역보다 높아 어떤 조합으로도 따라잡을 수 없을 때 이런 일이 생깁니다. 시행 전 적합도가 좋다는 사실만으로 인과효과가 증명되는 것은 아니며, 정책 시행 시점에 다른 사건이 발생했는지, 비교 지역에도 정책의 영향이 전달되었는지 등을 추가로 검토해야 합니다.
위약검정과 강건성 검토
합성통제법의 결과가 실제 정책 효과를 반영하는지 살펴보기 위해 여러 진단을 활용합니다.
| 진단 방법 | 확인하는 내용 |
|---|---|
| 위약검정 (Placebo Test) | 정책을 받지 않은 비교 지역에 가상의 정책 시행을 적용했을 때 비슷한 효과가 나타나는가? |
| 가상 시행 시점 검토 | 실제 정책 이전의 시점을 정책 시행 시점으로 가정해도 효과가 나타나는가? |
| 지역 제외 분석 | 특정 비교 지역을 제외해도 추정 결과가 크게 달라지지 않는가? |
| 시행 전 적합도 확인 | 정책 시행 전 실제 지역과 합성통제 지역의 결과가 충분히 비슷한가? |
그림 6은 비교 지역 12곳에 차례로 가짜 정책을 적용해 같은 방법으로 효과를 추정한 결과입니다. 가짜 정책 지역의 차이는 0 주변에 흩어지지만, 실제 정책 지역의 차이만 뚜렷하게 벌어집니다. 시행 후 오차를 시행 전 오차로 나눈 비율로 순위를 매기면 실제 지역이 13곳 중 1위이고, 이 순위로 계산한 위약 p값은 0.08입니다. 위약검정은 효과가 우연히 나타났을 가능성을 평가하는 데 도움을 주지만, 그 결과 하나만으로 정책 효과가 확정되지는 않습니다. 비교 지역이 13곳이면 가장 작은 p값도 1/13이듯, 비교 지역의 수, 시행 전 적합도, 정책의 특성 등을 함께 고려해야 합니다.
합성통제법과 이중차분법은 어떻게 다를까?
두 방법 모두 정책이 없었을 때의 결과를 추정한다는 공통점이 있지만, 비교 대상을 구성하는 방식과 핵심 가정에 차이가 있습니다.
| 구분 | 이중차분법 (DID) | 합성통제법 (SCM) |
|---|---|---|
| 비교 대상 | 하나 이상의 비교 집단 | 여러 비교 지역을 가중 결합한 합성 집단 |
| 핵심 아이디어 | 두 집단의 전후 변화 차이 비교 | 시행 전 결과와 특성이 유사하도록 합성 비교 대상 구성 |
| 주요 가정 | 평행추세 가정 | 시행 전 적합도와 비교 대상의 타당성, 정책이 없었을 때의 결과를 재현할 수 있다는 가정 |
| 잘 맞는 상황 | 비교 집단이 명확하고 평행추세를 검토할 수 있는 경우 | 정책을 받은 지역이나 단위가 적고, 비교 가능한 여러 단위가 있는 경우 |
| 주의점 | 평행추세가 성립하지 않으면 편향 가능 | 시행 전 적합도가 나쁘거나 비교 단위가 부족하면 신뢰하기 어려움 |
여러 지역에 비슷한 시점에 정책이 시행되었다면 DID(06장)가 적합할 수 있습니다. 반면 한 도시에서만 대규모 정책이 시행되었고 다른 여러 도시의 장기 자료가 있다면 합성통제법이 유용할 수 있습니다. 두 방법 중 어느 하나가 항상 더 우수한 것은 아니며, 연구 설계와 자료의 구조에 맞춰 선택해야 합니다.
합성통제법을 사용할 때 확인할 사항
- 정책 시행 지역과 시행 시점이 명확한가?
- 정책의 영향을 받지 않은 비교 지역을 충분히 확보했는가?
- 정책 시행 전 결과 추세가 충분히 비슷한가?
- 가중치가 특정 지역에 지나치게 집중되어 있지는 않은가?
- 정책 시행과 동시에 발생한 다른 사건이 결과에 영향을 주지 않았는가?
- 비교 지역이 정책의 영향을 간접적으로 받지는 않았는가?
- 위약검정과 대체 사양을 통해 결과의 강건성을 검토했는가?
청년 고용 지원 정책이 시행된 지역의 고용률을 정책이 시행되지 않은 12개 지역의 가중 조합(합성통제 지역)과 비교하였다. 2011~2020년 시행 전 기간에 두 지역의 고용률 차이는 평균 제곱근 0.16%p로 매우 작았으며, 정책 시행 후 5년간 실제 지역의 고용률은 합성통제 지역보다 평균 5.7%p 높았다. 12개 비교 지역에 같은 방법을 적용한 위약검정에서 실제 지역의 효과가 가장 컸다(위약 p = 0.08).
여러 비교 지역을 섞어 정책이 없었을 때의 모습을 재현합니다.
- 비교 대상 구성: 여러 지역을 시행 전 자료에 맞춘 가중치로 결합합니다.
- 효과 추정: 실제 결과와 합성통제 결과의 차이를 계산합니다.
- 타당성 진단: 시행 전 적합도와 위약검정 등을 통해 결과를 검토합니다.
- 합성통제법을 사용했다는 사실만으로 인과관계가 입증되는 것은 아닙니다. 비교 대상이 정책이 없었을 때의 결과를 얼마나 잘 재현하는지, 다른 사건이나 간접적인 정책 영향이 존재하는지를 신중하게 검토해야 합니다.
다음은 10 패널자료와 고정효과입니다. 한 개인이나 지역을 시간에 따라 반복 관찰한 자료로 고정효과(FE), 확률효과(RE), Hausman 검정을 살펴봅니다.
합성통제법은 정책 시행 전 결과가 실제 지역과 가장 비슷해지도록 비교 지역들의 가중치(0 이상, 합 1)를 정하고, 시행 후 실제와 합성의 차이를 정책 효과로 봅니다. 시행 전 적합도가 좋아야 하고, 비교 지역에 가짜 정책을 적용한 위약검정에서 실제 지역의 효과가 두드러져야 결과를 신뢰할 수 있습니다.