합성통제법

한 도시에서 대중교통 무료화 정책을 시행했다고 가정해 보겠습니다. 정책의 목적은 시민들의 대중교통 이용을 늘리고 도심의 자동차 통행량을 줄이는 것입니다. 정책 시행 이후 자동차 통행량이 감소했다면 무료화 정책이 효과를 거두었다고 판단할 수 있을까요?

그렇게 결론 내리기는 어렵습니다. 같은 기간에 유가가 상승하거나 재택근무가 증가하면서 자동차 통행량이 자연스럽게 줄어들었을 가능성도 있기 때문입니다. 그렇다면 정책을 시행하지 않은 다른 도시와 비교하면 될까요?

이 방법에도 문제가 있습니다. 도시마다 인구 규모와 교통망, 산업 구조, 자동차 보유율이 다르므로 단순히 다른 도시 하나를 비교 대상으로 선택하기 어렵습니다. 이러한 상황에서 사용하는 방법이 합성통제법(Synthetic Control Method, SCM)입니다.

합성통제법은 정책을 시행하지 않은 여러 도시를 적절한 비율로 조합하여, 정책 시행 도시와 비슷한 특성을 가진 가상의 비교도시를 만듭니다. 이 가상의 도시를 합성통제집단(Synthetic Control)이라고 합니다. 이후 실제 정책 시행 도시의 결과와 합성통제집단의 결과를 비교하여 정책 효과를 추정합니다.

이번 글에서는 합성통제법의 원리와 가중치 계산, 실제 정책 평가 사례, 반사실적 결과, 정책 효과의 추정, 위약검정과 분석 시 주의사항까지 살펴보겠습니다.

반사실적 결과(Counterfactual Outcome)는 정책이 시행되지 않았더라면 어떤 결과가 나타났을지를 의미합니다. 예를 들어 A도시에서 2023년부터 대중교통 무료화 정책을 시행했다고 가정하겠습니다. 정책 시행 이후 A도시의 자동차 통행량은 실제로 관찰할 수 있습니다.

하지만 A도시가 무료화 정책을 시행하지 않았을 경우 자동차 통행량이 어떻게 변화했을지는 직접 관찰할 수 없습니다. 합성통제법은 정책을 시행하지 않은 B·C·D도시 등을 조합하여 이 값을 추정합니다.

이때 단순히 여러 도시의 평균을 구하는 것이 아니라, 정책 시행 전 A도시의 자동차 통행량과 관련 특성을 잘 재현하도록 도시별 가중치를 결정합니다. 정책 시행 이전의 변화가 비슷한 합성통제집단을 구성한 뒤 정책 시행 이후 두 집단의 차이를 정책 효과의 추정값으로 사용합니다.

하지만 비교집단을 구성하는 방식에 차이가 있습니다. DID에서는 정책 시행 집단과 비교집단이 정책이 없었더라면 평행한 추세를 보였을 것이라는 가정이 중요합니다. 반면 합성통제법은 정책 시행 이전의 결과와 특성이 비슷하도록 여러 비교대상을 조합해 반사실적 결과를 구성합니다.

예를 들어 특정 도시 한 곳에서만 새로운 교통정책을 시행했다면 합성통제법이 유용할 수 있습니다. 다만 합성통제법을 사용한다고 해서 정책 효과가 자동으로 정확하게 추정되는 것은 아닙니다.

정책 이전의 결과를 잘 재현할 수 있는 비교대상이 존재해야 하고, 정책 시행 이후 정책 외의 다른 변화가 결과를 왜곡하지 않는지도 검토해야 합니다.

연구자는 정책 시행 이후 자동차 통행량이 얼마나 감소했는지 분석하려고 합니다. 관찰 기간은 2019년부터 2025년까지이며, 정책이 시행되지 않은 다른 도시들도 함께 조사했습니다.

연구 설계

이 예제에서는 자동차 통행량을 지수로 나타내겠습니다. A도시의 2019년 통행량을 100으로 설정한 지수이며, 다른 연도 역시 같은 기준으로 변환한 값입니다. 따라서 지수가 90이라면 2019년보다 자동차 통행량이 약 10% 낮은 수준을 의미합니다.

연구 질문은 다음과 같습니다.

이를 공여집단(Donor Pool)이라고 합니다. 예를 들어 B·C·D도시가 A도시와 비슷한 자동차 통행량 변화와 도시 특성을 보였다고 가정하겠습니다. 합성통제법은 이 도시들을 조합해 A도시와 비슷한 가상 도시를 만듭니다.

합성통제집단의 가중치 예시

이 경우 합성통제집단은 다음과 같이 구성됩니다.

여기서 Y_SC,t는 시점 t에서의 합성통제집단 자동차 통행량입니다. 예를 들어 B도시의 통행량 지수가 110, C도시가 100, D도시가 115라면 합성통제집단의 값은 다음과 같습니다.

따라서 합성통제집단의 통행량 지수는 108입니다. 실제 분석에서는 연구자가 임의로 가중치를 정하는 것이 아니라 정책 이전 자료를 잘 재현하도록 최적화 과정을 거쳐 결정합니다. 전통적인 합성통제법에서는 일반적으로 가중치가 0 이상이며 합이 1이 되도록 제한합니다.

이를 위해 정책 시행 전의 자동차 통행량뿐 아니라 정책 결과와 관련될 수 있는 도시 특성을 활용할 수 있습니다. 예를 들어 다음과 같은 변수를 고려할 수 있습니다.

가중치는 이러한 변수와 정책 시행 전 결과를 얼마나 비슷하게 재현하는지에 따라 결정됩니다. 예를 들어 B도시가 A도시와 인구 규모는 비슷하지만 자동차 통행량의 변화 추세가 크게 다르다면 B도시에 높은 가중치를 주는 것이 적절하지 않을 수 있습니다.

반대로 인구 규모는 조금 다르더라도 정책 이전의 통행량 변화와 주요 예측변수가 유사한 도시들은 합성통제집단 구성에 도움이 될 수 있습니다.

예를 들어 다음과 같은 결과가 나타났다고 가정해 보겠습니다.

정책 시행 전 통행량 지수

정책 시행 이전에는 A도시와 합성통제집단의 통행량 지수가 매우 비슷하게 나타났습니다. 이러한 차이를 요약하는 대표적인 지표로 평균제곱근예측오차(Root Mean Squared Prediction Error, RMSPE)가 있습니다. 계산식은 다음과 같습니다.

이 예제에서는 다음과 같이 계산됩니다.

따라서 정책 시행 이전 RMSPE는 약 0.87지수포인트입니다. 이는 합성통제집단이 정책 시행 전 A도시의 통행량을 비교적 가깝게 재현했다는 의미입니다. 다만 적합도가 좋다는 사실만으로 정책 이후의 반사실적 결과가 반드시 정확하다는 뜻은 아닙니다.

특히 정책 이전 관찰 기간이 짧거나 우연한 변동까지 과도하게 맞춘 경우에는 정책 이후의 예측이 불안정할 수 있습니다.

예를 들어 다음과 같은 결과가 나타났다고 가정하겠습니다.

정책 시행 이후 통행량 지수

합성통제법의 시점별 정책 효과는 다음과 같이 계산할 수 있습니다.

이는 정책 시행 이후 A도시의 자동차 통행량 지수가 정책이 없었을 경우의 추정값보다 15포인트 낮게 나타났다는 의미입니다. 2024년에는 21포인트, 2025년에는 26포인트 낮았습니다. 이 결과는 시간이 지나면서 실제 A도시와 합성통제집단 사이의 격차가 커졌음을 보여줍니다.

다만 이러한 차이를 정책의 인과효과로 해석하려면 합성통제집단이 적절한 반사실적 결과를 제공한다는 가정이 필요합니다.

2019~2022년은 정책 이전, 2023~2025년은 정책 이후입니다.

정책 시행 이전에는 실제 A도시와 합성통제집단의 통행량 변화가 비슷합니다. 하지만 2023년 정책 시행 이후에는 두 계열이 뚜렷하게 벌어집니다. 실제 A도시는 통행량 지수가 감소하는 반면 합성통제집단은 증가했습니다.

따라서 정책이 없었을 경우의 통행량 변화와 비교할 때 실제 A도시에서는 자동차 통행량이 상대적으로 감소한 것으로 추정됩니다. 이러한 시각화는 정책 시행 전 적합도와 정책 이후 차이를 동시에 확인하는 데 유용합니다.

앞선 사례에서는 정책 시행 이후 3개 연도의 추정효과가 각각 -15, -21, -26이었습니다. 따라서 정책 이후 단순 평균 효과는 다음과 같습니다.

즉, 2023~2025년 동안 A도시의 자동차 통행량 지수는 합성통제집단보다 연평균 약 20.7포인트 낮게 나타났습니다. 다만 이 값은 지수포인트의 차이입니다. 이를 자동차 통행량이 정확히 20.7% 감소했다고 해석해서는 안 됩니다.

백분율 감소를 계산하려면 각 시점의 합성통제집단 값을 기준으로 상대적인 차이를 계산해야 합니다. 예를 들어 2023년에는 다음과 같습니다.

따라서 2023년 A도시의 통행량은 정책이 없었을 경우의 추정 통행량보다 약 13.9% 낮은 것으로 나타났습니다. 지수포인트 차이와 상대적 백분율 차이는 서로 다른 지표이므로 구분해 보고하는 것이 좋습니다.

특히 정책 시행 대상이 도시 한 곳이라면 통계적 추론을 신중하게 수행해야 합니다. 이를 보완하기 위해 자주 사용하는 방법이 위약검정(Placebo Test)입니다.

공간 위약검정(In-Space Placebo Test)

실제로 정책을 시행하지 않은 다른 도시에도 마치 정책이 시행된 것처럼 합성통제법을 적용합니다.

예를 들어 A도시 외의 B·C·D도시를 각각 가상의 처치도시로 설정하고 합성통제집단과의 차이를 계산합니다. 이후 실제 A도시의 정책 이후 차이가 다른 도시의 가상 효과에 비해 얼마나 큰지 확인합니다. 실제 A도시의 차이가 다른 도시들보다 유난히 크다면 정책 효과에 대한 근거가 될 수 있습니다.

다만 위약효과의 크기를 비교할 때는 정책 시행 이전의 적합도도 함께 고려해야 합니다.

시간 위약검정(In-Time Placebo Test)

실제 정책 시행일보다 이전의 특정 시점을 가상의 정책 시행일로 설정합니다. 예를 들어 실제 정책은 2023년에 시행되었지만, 2021년에 시행되었다고 가정한 뒤 분석을 수행할 수 있습니다.

이때 정책 시행 이전에도 큰 효과가 나타난다면 정책 효과를 설명하는 모형이 불안정하거나 다른 변화 요인이 존재할 가능성을 검토해야 합니다. 다만 위약검정은 식별 가정의 타당성을 완전히 증명하는 방법은 아닙니다.

따라서 주요 분석 결과가 이러한 선택에 얼마나 민감한지 확인하는 것이 좋습니다.

비교도시 제외 분석(Leave-One-Out)

합성통제집단에 높은 가중치로 포함된 도시를 하나씩 제외하고 다시 분석합니다. 예를 들어 B도시의 가중치가 50%라면 B도시를 제외했을 때 결과가 어떻게 달라지는지 확인할 수 있습니다. 만약 B도시를 제외하자 정책 효과의 방향이 반대로 바뀐다면 결과의 안정성을 추가로 검토해야 합니다.

정책 이전 기간 변경

합성통제집단을 구성할 때 사용하는 정책 이전 기간을 변경합니다. 예를 들어 2019~2022년 대신 2020~2022년의 자료를 사용했을 때 결과가 얼마나 달라지는지 살펴볼 수 있습니다. 다만 정책 이전 기간이 너무 짧아지면 비교집단 구성의 신뢰성이 낮아질 수 있습니다.

예측변수 구성 변경

인구 규모나 자동차 보유율, 대중교통 이용률 등을 포함하거나 제외했을 때 합성통제집단의 가중치와 정책 효과가 어떻게 달라지는지 확인합니다. 이러한 분석은 특정한 변수 선택이나 비교도시 하나에 결과가 지나치게 의존하는지 검토하는 데 도움이 됩니다.

합성통제집단이 정책 시행 이전의 결과를 제대로 재현하지 못한다면 정책 이후의 차이를 신뢰하기 어렵습니다. 따라서 정책 이전 그래프와 RMSPE 등을 반드시 확인해야 합니다.

적절한 비교도시가 필요합니다.

정책을 시행하지 않은 도시라고 해서 모두 적합한 비교대상은 아닙니다. 도시의 규모와 교통 환경, 경제적 변화 등을 고려해 공여집단을 구성해야 합니다.

정책의 파급효과를 확인해야 합니다.

A도시의 무료화 정책 때문에 인근 B도시 주민들도 A도시 대중교통을 이용하게 되었다면 B도시 역시 정책의 영향을 받을 수 있습니다. 이러한 도시를 비교집단에 포함하면 정책 효과 추정이 왜곡될 수 있습니다.

정책 시행과 동시에 발생한 다른 변화를 고려해야 합니다.

무료화 정책과 같은 시점에 도심 차량 통행 제한이나 대규모 도로공사가 시작되었다면 자동차 통행량 감소가 어느 정책 때문인지 구분하기 어려울 수 있습니다.

정책 이전 자료가 충분해야 합니다.

합성통제법은 정책 시행 이전의 결과 변화가 중요한 정보를 제공합니다. 따라서 정책 이전 관찰 시점이 너무 적다면 신뢰할 수 있는 합성통제집단을 구성하기 어려울 수 있습니다.

합성통제집단은 실제 도시가 아닙니다.

여러 도시의 가중평균으로 만든 가상의 비교대상이므로 실제 특정 도시와 동일한 환경을 가진다고 해석해서는 안 됩니다. 또한 정책 효과의 타당성은 가중치 계산 자체보다 정책이 없었을 경우 합성통제집단이 실제 A도시의 변화를 적절하게 재현했을 것이라는 가정에 달려 있습니다.

앞서 살펴본 대중교통 무료화 정책 사례에서는 다음과 같이 작성할 수 있습니다.

실제 연구에서는 정책 시행 전후의 결과 그래프와 함께 위약검정 및 민감도 분석 결과를 제시하는 것이 좋습니다. 또한 비교도시 선정 기준과 가중치 최적화 방법, 정책 시행 이전 적합도 등을 명확하게 보고해야 합니다.

예를 들어 한 도시에서 대중교통 무료화 정책을 시행했다면 정책 미시행 도시 여러 곳을 조합해 가상의 비교도시를 만들 수 있습니다. 이후 실제 도시의 자동차 통행량과 합성통제집단의 통행량을 비교하여 정책 효과를 추정합니다.

이 방법의 중요한 특징은 정책 시행 이전의 결과와 관련 특성이 비슷하도록 비교집단의 가중치를 결정한다는 점입니다. 하지만 정책 시행 전 적합도가 좋다고 해서 정책 이후의 반사실적 결과까지 반드시 정확하게 추정되는 것은 아닙니다.

따라서 비교도시의 타당성, 정책의 파급효과, 다른 정책의 동시 시행 여부, 위약검정과 민감도 분석 등을 함께 확인해야 합니다.