성향점수매칭

이미 프로그램에 참여한 사람과 참여하지 않은 사람을 비교해야 하는 경우가 많습니다. 무작위 실험에서는 연구자가 처치집단과 통제집단을 직접 무작위로 구성할 수 있지만, 실제 연구에서는 그렇지 못한 경우가 많습니다. 직업훈련 프로그램에 참여한 사람들의 취업률이 더 높다면, 참여자는 원래 취업 의지가 강하거나 학력이 높았을 수도 있습니다. 이러한 차이를 고려하지 않으면 프로그램의 효과를 과대평가하거나 과소평가할 수 있습니다. 성향점수매칭(PSM)은 관찰된 특성을 바탕으로 처치를 받을 확률이 비슷한 대상끼리 짝을 지어 비교하는 방법입니다. 무작위 실험을 대신할 수 있는 완벽한 방법은 아니지만, 관찰자료에서 집단 간 차이를 줄이기 위한 대표적인 접근입니다.

성향점수(Propensity Score)는 대상자가 처치를 받을 확률을 의미하며, 처치 이전에 측정한 특성을 바탕으로 추정합니다.

직업훈련 프로그램의 참여 여부를 예측할 때 나이, 학력, 이전 경력, 이전 소득 등이 관련 변수일 수 있습니다. 이 변수들을 이용해 각 대상자의 성향점수를 추정하면, 참여자와 미참여자 중 처치를 받을 가능성이 비슷한 사람들을 찾을 수 있습니다.

그림 1의 모의 자료처럼 학력이 높고 이전 소득이 낮은 사람이 훈련에 더 많이 참여했다면, 참여자의 성향점수는 높은 쪽에, 비참여자는 낮은 쪽에 몰립니다. 여기서 중요한 점은 성향점수가 처치의 효과를 나타내는 점수가 아니라는 것입니다. 성향점수는 처치를 받을 가능성을 나타내며, 처치가 결과에 미치는 효과는 매칭 이후 결과를 비교해 추정합니다.

PSM은 일반적으로 다음과 같은 단계로 진행됩니다.

1. 처치집단과 통제집단을 정의합니다. 예: 직업훈련 프로그램 참여자와 미참여자
2. 성향점수를 추정합니다. 학력, 나이, 경력 등 처치 이전 변수를 이용해 참여 확률을 계산합니다.
3. 성향점수가 비슷한 대상을 매칭합니다. 참여자와 비참여자 중 특성이 비교적 유사한 대상을 짝짓습니다.
4. 매칭 후 균형을 확인합니다. 두 집단의 관찰된 특성이 충분히 비슷해졌는지 검토합니다.
5. 결과 차이를 비교합니다. 연구 목적에 맞는 처치효과를 추정하고 불확실성을 평가합니다.

PSM의 핵심은 단순히 점수가 비슷한 사람을 찾는 데 그치지 않습니다. 매칭이 끝난 뒤 실제로 두 집단의 관찰된 특성이 균형을 이루는지 확인해야 합니다.

성향점수는 일반적으로 로지스틱 회귀분석(범주형자료분석 06장)으로 추정하며, 다른 적절한 예측 모형도 사용할 수 있습니다. 직업훈련 참여 여부를 나이와 학력으로 설명한다면 다음과 같은 모형을 설정할 수 있습니다.

가령 다음과 같은 결과가 나왔다고 합시다.

그림 3처럼 A와 B, C와 D는 성향점수가 서로 비슷합니다. 반면 E와 F는 점수 차이가 커서 직접 비교하기 어려울 수 있습니다. 실제 분석에서는 점수 차이뿐 아니라 매칭 기준, 표본 손실, 공통지지 영역 및 공변량 균형을 함께 검토해야 합니다.

성향점수를 계산한 뒤에는 어떤 기준으로 대상을 짝지을지 결정해야 합니다.

최근접 이웃 매칭은 성향점수가 0.72인 참여자와 0.70인 미참여자처럼 점수 차이가 가장 작은 대상을 선택합니다. 다만 가장 가까운 대상이라도 실제 점수 차이가 클 수 있으므로, 일정한 허용 범위를 두는 칼리퍼를 함께 적용하기도 합니다. 참여자 한 명당 비교 대상 한 명을 매칭하는 1:1 매칭과 여러 명을 매칭하는 1:k 매칭이 있으며, 비교 대상이 많아지면 활용하는 정보가 늘어날 수 있지만 모든 비교 대상의 특성이 충분히 비슷한 것은 아닐 수 있습니다. 매칭 비율은 표본의 분포와 분석 목적을 고려해 결정합니다.

PSM을 수행했다고 해서 두 집단의 특성이 자동으로 같아지는 것은 아닙니다. 매칭 전에는 참여자와 미참여자의 나이, 학력, 경력 등이 크게 달랐더라도 매칭 후에는 이러한 차이가 줄어들어야 합니다. 이를 공변량 균형(Covariate Balance)이라고 하며, 일반적으로 표준화 평균 차이(SMD)를 활용해 확인합니다.

SMD의 절댓값이 작을수록 해당 변수의 집단 간 표준화 차이가 작다는 뜻입니다. 실무에서는 |SMD| < 0.1을 균형을 판단하는 참고 기준으로 자주 사용하지만, 절대적인 합격 기준은 아닙니다. 그림 5에서 학력의 SMD는 매칭 전 0.85에서 매칭 후 0.10로, 이전 소득은 -0.45에서 -0.02로 줄었습니다. 그러나 모형에 넣지 않은 학습 동기는 매칭 후에도 0.41로 남아 있습니다. 매칭은 관찰된 특성의 불균형만 줄이며, 미측정 교란이 없다는 사실까지 입증하지는 않습니다.

균형이 충분하지 않다면 성향점수 모형을 재검토하거나 매칭 기준을 바꾸는 방법을 고려할 수 있습니다. 다만 결과가 좋아 보일 때까지 변수를 임의로 바꾸는 방식은 피하고, 연구 설계와 판단 기준을 명확히 해야 합니다.

PSM은 특히 처치집단의 평균 처치효과인 ATT를 추정하는 데 자주 사용됩니다(02장).

모의 자료에서 참여자 962명 가운데 칼리퍼 안에서 짝을 찾은 827명의 결과는 다음과 같습니다.

그림 6처럼 매칭 없이 전체 참여자와 미참여자를 비교하면 차이가 20.1%p로 부풀려지지만, 측정한 네 변수로 매칭하면 12.5%p로 실제 ATT(11.2%p)에 가까워집니다. 남은 차이는 측정하지 않은 학습 동기 때문이며, 학습 동기까지 측정해 매칭할 수 있었다면 11.0%p가 됩니다.

따라서 매칭 후 차이를 인과효과로 해석하려면 관찰된 공변량이 충분히 균형을 이루고, 중요한 교란변수가 누락되지 않았다는 등의 가정이 필요합니다. 또한 이 예처럼 매칭으로 일부 참여자(135명)가 제외되었다면 추정 결과는 원래의 전체 참여자와 정확히 같은 집단을 대상으로 하지 않을 수 있으므로, 분석 결과를 어떤 모집단에 적용할 수 있는지 함께 밝혀야 합니다.

PSM은 관찰자료의 비교 가능성을 높이는 방법이지만, 몇 가지 중요한 가정이 필요합니다.

따라서 PSM은 단순히 성향점수를 계산하고 매칭하는 것에서 끝나지 않습니다. 공변량 균형, 공통지지, 표본 제외, 추정 대상 및 불확실성을 함께 평가해야 합니다.

• 성향점수는 관찰된 특성을 바탕으로 처치를 받을 확률을 추정한 값입니다.
• PSM은 성향점수가 비슷한 처치집단과 통제집단의 대상을 매칭해 비교합니다.
• 최근접 이웃, 칼리퍼, 반경, 커널 등 다양한 매칭 방법이 있습니다.
• 매칭 후에는 SMD 등을 활용해 공변량 균형을 확인해야 합니다.
• PSM은 ATT 추정에 자주 활용되지만, 매칭 후 평균 차이를 무조건 인과효과로 해석할 수는 없습니다.
• 관찰되지 않은 교란, 공통지지 부족, 표본 손실은 PSM의 중요한 한계입니다.

다음은 06 이중차분법(DID)입니다. 정책이나 프로그램의 시행 전후에 처치집단과 비교집단이 얼마나 다르게 변화했는지를 비교하는 방법을 살펴봅니다.