이중차분법(DID)

정부가 특정 지역에 청년 고용지원 정책을 도입했다고 가정해 보겠습니다. 정책 시행 이후 해당 지역의 청년 고용률이 60%에서 68%로 상승했습니다. 그렇다면 이 정책으로 청년 고용률이 8%p 높아졌다고 결론 내릴 수 있을까요?

그렇게 판단하기는 어렵습니다. 같은 기간에 경기가 회복되거나 기업의 채용이 증가하면서 정책과 관계없이 청년 고용률이 상승했을 가능성이 있기 때문입니다. 따라서 정책이 시행된 지역의 변화만 살펴보는 것으로는 정책 효과를 정확하게 추정하기 어렵습니다.

이때 정책이 시행되지 않은 지역을 함께 관찰할 수 있다면 어떨까요? 예를 들어 같은 기간에 정책을 시행하지 않은 지역의 청년 고용률도 58%에서 62%로 상승했다면, 정책 시행 지역에서 나타난 8%p의 상승 중 일부는 두 지역에 공통으로 나타난 변화일 수 있습니다.

이처럼 정책 시행 지역의 변화에서 비교 지역의 변화를 차감하여 정책 효과를 추정하는 방법이 이중차분법(Difference-in-Differences, DID)입니다.

DID는 정책 평가와 경제학, 사회과학 연구에서 널리 사용되는 인과추론 방법입니다. 무작위 실험을 수행하기 어려운 상황에서 정책이나 제도의 영향을 분석하는 데 활용할 수 있습니다.

이번 글에서는 이중차분법의 기본 원리부터 계산 방법, 회귀모형, 실제 정책 평가 사례, 평행추세 가정, 이벤트 스터디와 분석 시 주의사항까지 살펴보겠습니다.

분석에는 일반적으로 두 집단이 필요합니다.

• 처치집단(Treatment Group): 정책이나 제도가 시행된 집단
• 비교집단(Control Group): 같은 기간에 해당 정책이 시행되지 않은 집단

그리고 정책 시행 전과 시행 후의 결과를 관찰합니다. 예를 들어 청년 고용지원 정책이 특정 지역에만 도입되었다면 해당 지역이 처치집단이고, 정책이 시행되지 않은 다른 지역이 비교집단입니다. DID에서는 각 집단의 정책 시행 전후 변화를 먼저 계산합니다.

이후 처치집단의 변화에서 비교집단의 변화를 차감합니다. 이러한 방식은 정책 시행 전부터 존재했던 집단 간 차이와 두 집단에 공통으로 발생한 시간 변화를 제거하는 데 도움이 됩니다. 다만 두 집단이 정책이 없었더라면 비슷한 추세로 변화했을 것이라는 중요한 가정이 필요합니다.

예를 들어 정책 시행 지역의 청년 고용률이 60%에서 68%로 상승했다면 변화는 다음과 같습니다.

하지만 이 8%p에는 정책 효과뿐 아니라 경기 변화나 계절적 요인, 산업 환경의 변화 등이 포함되어 있을 수 있습니다.

DID는 이러한 문제를 줄이기 위해 비교집단의 변화를 함께 고려합니다.

DID가 단순 전후 비교보다 정책 평가에 유용할 수 있지만, 비교집단을 추가했다고 해서 모든 교란요인이 제거되는 것은 아닙니다. 특히 두 집단의 변화 추세에 서로 다른 영향을 주는 사건이 발생했다면 DID 추정값에도 편향이 생길 수 있습니다.

여기서 T는 처치집단, C는 비교집단을 나타냅니다. 청년 고용지원 정책 사례를 이용해 계산해 보겠습니다.

정책 시행 전후 청년 고용률

처치집단의 변화는 8%p입니다. 비교집단의 변화는 4%p입니다. 따라서 DID 추정값은 다음과 같습니다.

즉, 정책 시행 지역의 청년 고용률은 비교 지역의 변화보다 4%p 더 높아졌습니다. 평행추세 가정 등 필요한 인과추론 가정이 성립한다면, 이 4%p를 정책의 평균 처치효과로 해석할 수 있습니다.

중요한 점은 정책 시행 지역의 전체 상승 폭인 8%p가 아니라 두 집단의 상승 폭 차이인 4%p가 DID 추정값이라는 사실입니다.

앞선 사례에서 정책 시행 지역의 고용률은 60%에서 68%로 상승했습니다. 정책 미시행 지역은 58%에서 62%로 4%p 상승했습니다. 평행추세를 가정한다면 정책 시행 지역에서도 정책이 없었을 경우 고용률이 60%에서 64%로 상승했을 것으로 추정할 수 있습니다.

실제 정책 시행 후 고용률은 68%였으므로 이 두 값의 차이는 4%p입니다.

여기서 정책이 없었을 경우의 고용률 64%는 실제로 관찰된 값이 아닙니다. 비교집단의 변화를 이용해 추정한 반사실적 결과(Counterfactual Outcome)입니다. DID의 인과적 해석은 이 반사실적 추정이 얼마나 타당한지에 달려 있습니다.

정책은 일부 지역에서만 시행되었으며, 다른 유사 지역에서는 시행되지 않았습니다. 연구자는 정책 시행 전후 2년 동안 지역별 청년 고용률을 조사했습니다.

연구 설계

정책 효과를 추정하려면 단순히 고용률 차이만 확인하는 것이 아니라 정책 시행 시점과 집단별 변화를 함께 고려해야 합니다. 또한 비교집단이 정책 시행 지역과 얼마나 유사한지, 정책 시행 전 고용률 추세가 어떻게 나타났는지를 확인하는 것이 중요합니다.

기본적인 2집단·2시점 DID 회귀모형은 다음과 같습니다.

여기서 각 항의 의미는 다음과 같습니다.

이 모형에서 가장 중요한 것은 Treatment × Post 상호작용항의 계수입니다. 해당 계수는 두 집단의 전후 변화 차이를 나타냅니다. 앞선 사례에서는 이 값이 4이므로, 정책 시행 지역의 고용률이 비교 지역보다 4%p 더 상승한 것으로 해석합니다.

다만 이 해석은 결과변수를 백분율 단위(예: 60, 68)로 입력한 경우입니다. 결과변수를 0에서 1 사이의 비율로 입력했다면 계수는 0.04로 표현됩니다.

DID 회귀분석 결과

고용률은 백분율 단위로 입력한 것으로 가정합니다.

정책 시행 지역의 회귀계수는 2.00입니다. 이는 정책 시행 전 두 집단의 청년 고용률 차이가 2%p였다는 의미입니다. 정책 시행 후의 회귀계수는 4.00입니다.

이는 비교집단의 청년 고용률이 시행 후 4%p 상승했다는 의미입니다. 가장 중요한 상호작용항의 회귀계수는 4.00입니다. 이는 정책 시행 지역에서 청년 고용률이 비교집단보다 4%p 더 상승했다는 의미입니다.

p값은 .002로 나타나 통계적으로 유의한 양의 DID 추정값이 확인되었습니다. 하지만 통계적으로 유의하다는 사실만으로 정책의 인과효과가 입증되는 것은 아닙니다. 평행추세 가정을 비롯한 연구 설계의 타당성을 확인해야 합니다.

정책이 시행되지 않았더라면 처치집단과 비교집단의 결과변수가 평균적으로 동일한 추세를 보였을 것이라는 가정입니다. 여기서 중요한 것은 두 집단의 고용률 수준이 반드시 같아야 하는 것은 아니라는 점입니다.

예를 들어 정책 시행 전 처치집단의 고용률이 60%이고 비교집단이 55%였더라도, 정책이 없었을 경우 두 집단의 고용률이 비슷한 폭으로 변화했다면 평행추세 가정이 성립할 수 있습니다. 반대로 정책 시행 전 고용률이 같았더라도 이후의 변화 추세가 서로 다를 것으로 예상된다면 문제가 됩니다.

정책 시행 전 추세 예시

이 예시에서는 정책 시행 전 두 집단이 매년 2%p씩 상승했습니다. 따라서 관찰된 과거 추세는 평행추세 가정과 일관된 모습을 보입니다. 하지만 과거에 비슷한 추세가 나타났다고 해서 정책 시행 이후에도 정책이 없었을 경우 반드시 같은 추세를 보였을 것이라고 증명할 수는 없습니다.

평행추세 가정은 실제로 관찰할 수 없는 반사실적 결과에 관한 가정이기 때문입니다.

가장 기본적인 방법은 정책 시행 전 여러 시점의 결과변수를 그래프로 비교하는 것입니다. 예를 들어 정책 시행 전 4~5년의 청년 고용률을 확인하여 두 집단의 변화 방향과 폭이 유사했는지 살펴볼 수 있습니다.

또한 이벤트 스터디(Event Study) 회귀분석을 이용해 정책 시행 전 시점별 집단 간 차이가 어떻게 변화했는지 확인할 수 있습니다. 다만 시행 전 계수가 통계적으로 유의하지 않다는 사실만으로 평행추세가 성립한다고 결론 내릴 수는 없습니다.

검정력이 낮으면 실제로 추세 차이가 존재하더라도 유의하지 않게 나타날 수 있기 때문입니다. 따라서 다음 사항을 함께 고려하는 것이 좋습니다.

• 정책 시행 전 추세의 시각적 유사성
• 처치집단과 비교집단의 경제적·사회적 특성
• 정책 대상 지역의 선정 방식
• 정책 시행 전부터 나타난 다른 변화 요인
• 정책 시행 이전의 예상 반응이나 사전 효과 가능성

특히 정책이 고용률이 빠르게 악화되는 지역에만 도입되었다면 정책 대상 선정 자체가 DID의 인과적 해석을 어렵게 만들 수 있습니다.

기본 DID가 정책 시행 전과 후를 크게 두 기간으로 나누어 비교한다면, 이벤트 스터디는 정책 시행 전 2년, 전 1년, 시행 연도, 이후 1년, 이후 2년처럼 시점별 관계를 살펴봅니다. 예를 들어 다음과 같은 결과를 얻었다고 가정하겠습니다.

정책 시행 시점 기준 추정계수

이 예시에서는 정책 시행 1년 전을 기준 시점으로 설정했습니다. 정책 시행 전 계수들은 0과 크게 다르지 않게 나타났고, 정책 시행 이후에는 추정계수가 점차 증가했습니다. 이러한 결과는 정책 시행 이후 처치집단에서 비교집단 대비 청년 고용률이 상대적으로 더 높아지는 양상을 보여줍니다.

하지만 정책 시행 전 계수가 유의하지 않다는 사실만으로 인과적 식별이 완성되는 것은 아닙니다. 이벤트 스터디는 정책 효과가 시간에 따라 어떻게 변화하는지 살펴보고 DID의 가정을 검토하는 보조적인 방법으로 이해하는 것이 좋습니다.

예를 들어 다음과 같이 표현할 수 있습니다.

여기서 각 기호의 의미는 다음과 같습니다.

지역 고정효과는 지역마다 변하지 않는 특성을 통제합니다. 연도 고정효과는 모든 지역에 공통으로 작용하는 시기별 변화를 통제합니다. 이러한 모형에서는 동일 지역 내부의 시간에 따른 변화와 비교 지역의 변화를 이용해 정책 효과를 추정합니다.

다만 고정효과를 포함한다고 해서 DID의 평행추세 가정이 자동으로 충족되는 것은 아닙니다. 특히 지역마다 서로 다른 경제적 충격이 발생했다면 지역 및 연도 고정효과만으로 충분히 통제되지 않을 수 있습니다.

하지만 실제 정책에서는 지역마다 시행 시점이 다를 수 있습니다. 예를 들어 A 지역은 2022년, B 지역은 2023년, C 지역은 2024년에 청년 고용지원 정책을 도입했다고 가정해 보겠습니다.

이러한 상황을 시차 도입 DID(Staggered Difference-in-Differences)라고 합니다.

정책 효과가 시행 이후 경과 기간이나 지역에 따라 다르게 나타나는 경우, 일반적인 이원 고정효과(Two-Way Fixed Effects) 회귀계수가 단순한 평균 정책 효과와 다르게 해석될 수 있습니다. 특히 이미 정책이 시행된 지역이 다른 지역의 비교집단으로 활용되면서 추정에 문제가 생길 수 있습니다.

따라서 시행 시점이 서로 다른 자료에서는 정책 도입 시기별·시점별 처치효과를 추정하는 방법을 고려하는 것이 좋습니다. 대표적으로 Callaway–Sant'Anna 방식이나 Sun–Abraham 방식 등이 있습니다.

중요한 점은 DID라는 이름만 같다고 해서 모든 정책 도입 구조에 동일한 회귀모형을 적용할 수 있는 것은 아니라는 사실입니다.

평행추세 가정

정책이 없었다면 처치집단과 비교집단이 평균적으로 비슷한 추세로 변화했을 것이라는 가정이 중요합니다.

정책 시행 전 예상 반응

기업이나 개인이 정책 시행을 미리 알고 행동을 바꾸었다면 공식적인 시행일 이전에도 정책 효과가 발생할 수 있습니다. 이 경우 시행 전 기간을 영향을 받지 않은 기간으로 취급하는 것이 부적절할 수 있습니다.

다른 정책이나 충격의 동시 발생

청년 고용지원 정책과 동시에 처치지역에서 대규모 산업단지가 조성되었다면 고용률 상승의 원인을 구분하기 어려울 수 있습니다.

집단 간 파급효과

처치지역의 고용지원 정책이 인근 비교지역의 기업과 청년에게도 영향을 줄 수 있습니다. 이 경우 비교집단이 실제로는 정책의 영향을 받은 상태일 수 있습니다.

집단 구성의 변화

정책 시행 이후 청년들이 처치지역으로 이동했다면 지역별 고용률 변화가 정책의 직접적인 고용 효과뿐 아니라 인구 구성 변화의 영향을 받을 수 있습니다.

표준오차의 계산

같은 지역의 관측값은 여러 해에 걸쳐 서로 관련되어 있을 수 있습니다. 따라서 지역 단위 군집강건 표준오차 등을 고려해야 합니다. 특히 정책이 소수의 지역에만 시행되었다면 일반적인 군집강건 표준오차만으로 충분하지 않을 수 있으므로 소수 군집에 적합한 추론 방법을 검토해야 합니다.

특히 정책 시행 전 추세를 어떻게 확인했는지, 어떤 고정효과와 통제변수를 포함했는지도 설명해야 합니다. 앞서 살펴본 청년 고용지원 정책 사례를 이용하면 다음과 같이 작성할 수 있습니다.

실제 연구에서는 정책 시행 전 추세와 비교지역 선정 근거를 함께 보고하는 것이 중요합니다. 또한 정책 도입 시점이 여러 지역에서 다르게 나타난다면 적용한 DID 추정 방법과 비교집단의 정의를 명확하게 밝혀야 합니다.

정책 시행 지역의 결과가 8%p 증가했더라도 같은 기간 비교지역에서 4%p 증가했다면 DID 추정값은 4%p입니다. 이러한 방식은 집단 간 고정된 차이와 두 집단에 공통으로 발생한 시간 변화를 제거하는 데 도움이 됩니다.

하지만 DID 결과를 인과효과로 해석하려면 정책이 없었더라면 두 집단이 평행한 추세를 보였을 것이라는 가정이 필요합니다. 따라서 정책 시행 전의 추세를 확인하고, 다른 정책의 동시 시행이나 집단 간 파급효과, 정책 대상 선정 방식 등을 함께 검토해야 합니다.

또한 정책 시행 시점이 집단마다 다르거나 정책 효과가 시간에 따라 달라지는 경우에는 기본적인 DID 모형보다 해당 구조를 반영하는 추정 방법이 필요할 수 있습니다.