성향점수매칭(PSM)

정부에서 구직자를 대상으로 직업훈련 프로그램을 운영한다고 가정해 보겠습니다. 프로그램에 참여한 사람들의 취업률은 72%, 참여하지 않은 사람들의 취업률은 55%로 나타났습니다. 그렇다면 직업훈련 프로그램이 취업률을 17%p 높였다고 결론 내릴 수 있을까요?

그렇게 판단하기는 어렵습니다. 프로그램에 참여한 사람들은 참여하지 않은 사람들보다 취업 의지가 높거나, 나이가 어리거나, 이전 직장 경력이 더 많을 수 있기 때문입니다. 이러한 차이는 프로그램 참여 여부뿐 아니라 취업 가능성에도 영향을 미칠 수 있습니다.

따라서 프로그램 참여자와 비참여자의 취업률을 단순히 비교하면 원래 존재했던 개인별 특성의 차이까지 프로그램 효과에 포함될 수 있습니다. 이러한 문제를 줄이기 위해 사용하는 대표적인 방법이 성향점수매칭(Propensity Score Matching, PSM)입니다.

PSM은 프로그램에 참여할 가능성이 비슷한 사람끼리 짝을 지어 비교하는 방법입니다. 이를 통해 관찰 가능한 특성이 유사한 참여자와 비참여자 사이에서 결과가 얼마나 다른지 분석할 수 있습니다.

이번 글에서는 PSM의 기본 원리부터 성향점수 추정, 매칭 방법, 집단 간 균형 진단, 처치효과 계산과 결과 해석까지 살펴보겠습니다.

여기서 처치(Treatment)는 반드시 의학적인 치료를 의미하는 것은 아닙니다. 정부 정책, 교육 프로그램 참여, 기업의 지원제도 이용 등 연구자가 효과를 평가하려는 개입을 폭넓게 의미합니다. 예를 들어 직업훈련 프로그램 참여 여부를 처치변수로 설정할 수 있습니다.

• 처치집단: 직업훈련 프로그램 참여자
• 비교집단: 직업훈련 프로그램 비참여자

문제는 두 집단이 무작위로 배정되지 않았다는 것입니다. 프로그램 참여 여부를 개인이 선택했다면 참여자와 비참여자는 나이, 학력, 이전 경력, 실업 기간 등에서 차이를 보일 수 있습니다. PSM은 이러한 관찰 가능한 특성을 이용해 각 개인의 프로그램 참여 가능성을 계산합니다.

이 참여 가능성을 성향점수(Propensity Score)라고 합니다.

이후 성향점수가 비슷한 참여자와 비참여자를 매칭하고 취업률을 비교합니다. 다만 PSM으로 비슷한 집단을 만들었다고 해서 무작위 실험과 완전히 동일해지는 것은 아닙니다. 데이터에 포함되지 않은 요인의 차이는 여전히 남을 수 있습니다.

수식은 다음과 같습니다.

여기서 T는 프로그램 참여 여부이고, X는 프로그램 참여 이전에 측정한 개인의 특성입니다. 예를 들어 두 구직자가 있다고 가정하겠습니다.

두 사람은 실제 참여 여부가 다르지만, 참여 이전의 특성을 이용해 계산한 성향점수는 비슷합니다. 따라서 PSM에서는 이 두 사람을 비교 대상으로 연결할 수 있습니다.

반대로 나이나 학력, 경력 등이 크게 달라 성향점수가 0.20인 비참여자는 성향점수가 0.71인 참여자와 적절한 비교 대상이 아닐 수 있습니다. 성향점수는 흔히 로지스틱 회귀분석을 이용해 추정하지만, 다른 통계모형이나 머신러닝 방법을 사용할 수도 있습니다.

이 과정에서 특히 중요한 단계는 매칭 이후 공변량 균형을 확인하는 것입니다. 성향점수가 비슷하다는 이유만으로 모든 개별 특성이 충분히 비슷해졌다고 보장할 수는 없습니다. 따라서 매칭 결과를 평가할 때는 취업률 차이보다 먼저 집단 간 특성의 균형을 확인해야 합니다.

이 중 400명은 직업훈련 프로그램에 참여했고, 600명은 참여하지 않았습니다. 연구자는 프로그램 종료 이후 6개월 안에 취업했는지를 조사했습니다.

연구 데이터

여기서 중요한 것은 매칭에 사용하는 개인 특성을 프로그램 참여 이전에 측정해야 한다는 점입니다. 예를 들어 직업훈련 참여 이후 취득한 자격증이나 프로그램을 통해 개선된 직무능력을 매칭 변수에 포함하면 프로그램 효과의 일부를 통제해 버릴 수 있습니다.

또한 비참여자에게도 참여자와 비교할 수 있는 동일한 기준 시점을 정의해야 합니다. 연구 질문은 다음과 같습니다.

매칭 전 취업률

참여자의 취업률은 비참여자보다 17%p 높게 나타났습니다. 그러나 참여자들은 원래부터 취업에 유리한 특성을 가지고 있었을 수 있습니다. 예를 들어 매칭 전 두 집단의 평균 특성이 다음과 같다고 가정하겠습니다.

이처럼 참여자와 비참여자 사이에 차이가 있다면 전체 취업률 차이 17%p를 그대로 직업훈련의 효과라고 해석하기 어렵습니다. 따라서 유사한 특성을 가진 사람들끼리 비교할 필요가 있습니다.

대표적인 매칭 방식은 다음과 같습니다.

예를 들어 참여자 A의 성향점수가 0.72라고 가정하겠습니다. 비참여자 중 성향점수가 0.71, 0.45, 0.29인 사람이 있다면 최근접 이웃 매칭에서는 0.71인 사람을 우선 고려합니다. 하지만 단순히 가장 가까운 대상이라는 이유만으로 항상 매칭하는 것은 적절하지 않을 수 있습니다.

참여자의 성향점수가 0.95인데 가장 가까운 비참여자의 성향점수가 0.50이라면 두 사람은 충분히 유사하지 않을 가능성이 있습니다. 이러한 문제를 줄이기 위해 매칭 가능한 최대 거리를 제한하는 칼리퍼(Caliper)를 사용할 수 있습니다.

매칭 방식은 분석 전에 정한 연구 목적과 데이터의 특성을 고려해 선택해야 합니다.

매칭 이후에도 처치집단과 비교집단의 나이나 경력 등이 크게 다르다면 프로그램 효과를 신뢰하기 어려울 수 있습니다. 공변량 균형을 평가하는 대표적인 지표는 표준화 평균차(Standardized Mean Difference, SMD)입니다.

SMD는 집단 간 차이를 표준화하여 나타낸 값으로, 변수마다 측정 단위가 달라도 비교할 수 있습니다. 일반적으로 절댓값 0.1 미만을 양호한 균형의 참고 기준으로 사용하는 경우가 많습니다. 다만 0.1이라는 기준이 모든 연구에서 충분한 균형을 보장하지는 않습니다.

매칭 전후 공변량 균형

매칭 전에는 실업 기간의 SMD가 0.61로 집단 간 차이가 컸지만, 매칭 후에는 0.08로 감소했습니다. 나이와 학력, 이전 경력에서도 차이가 작아졌습니다. 이는 매칭을 통해 관찰된 특성의 균형이 개선되었다는 의미입니다.

다만 공변량 균형이 개선되었다는 사실만으로 관찰되지 않은 교란요인까지 제거되었다고 판단할 수는 없습니다.

이를 공통지지영역(Common Support) 또는 중첩(Overlap) 조건이라고 합니다. 예를 들어 직업훈련 참여자의 성향점수가 대부분 0.80~0.95인데 비참여자는 대부분 0.10~0.30에 분포한다면 적절한 비교 대상을 찾기 어렵습니다.

반대로 두 집단의 성향점수가 비슷한 범위에 충분히 분포한다면 매칭할 수 있는 가능성이 높아집니다.

공통지지영역이 부족하면 다음과 같은 문제가 발생할 수 있습니다.

• 일부 참여자를 적절한 비교 대상과 매칭하지 못함
• 서로 다른 특성을 가진 사람을 무리하게 연결함
• 처치효과 추정의 불확실성이 증가함
• 추정 결과를 전체 참여자에게 일반화하기 어려움

따라서 실제 PSM 분석에서는 매칭 전후 성향점수 분포를 그래프로 확인하는 것이 좋습니다. 또한 공통지지영역 밖에 있는 관측값을 제외했다면 몇 명이 제외되었는지 보고해야 합니다.

이 과정은 단순한 데이터 정리가 아니라 처치효과를 추정하는 대상 집단 자체를 바꿀 수 있는 선택이라는 점에서 중요합니다.

예를 들어 1:1 최근접 이웃 매칭을 통해 참여자 350명과 비참여자 350명을 연결했다고 가정하겠습니다. 이 예시에서는 대체 없이 매칭했으며, 각 참여자는 하나의 비교 대상과 연결되었습니다.

매칭 후 취업률

매칭 이후 참여자의 취업률은 72%, 비참여자는 60%로 나타났습니다. 따라서 매칭된 표본에서의 취업률 차이는 다음과 같습니다.

이는 관찰된 특성이 유사하도록 매칭된 사람들 사이에서 직업훈련 참여자의 취업률이 12%p 높았다는 의미입니다. 매칭 전 단순 차이는 17%p였지만 매칭 이후에는 12%p로 줄었습니다. 이러한 변화는 두 집단의 관찰된 특성 차이가 매칭 전 취업률 격차의 일부와 관련되어 있었을 가능성을 보여줍니다.

하지만 감소한 5%p를 특정 변수의 교란효과로 정확하게 분해한 값이라고 해석해서는 안 됩니다. 매칭 과정에서 분석 대상 자체도 달라졌기 때문입니다.

대표적으로 ATT와 ATE가 있습니다.

ATT(Average Treatment Effect on the Treated)

실제로 처치를 받은 사람들에게서 처치가 미친 평균 효과입니다. 예를 들어 직업훈련에 참여한 사람들에게 프로그램이 평균적으로 어떤 영향을 미쳤는지 추정하는 것입니다.

ATE(Average Treatment Effect)

분석 대상 모집단 전체에 처치를 적용했을 경우의 평균적인 효과입니다. 예를 들어 연구 대상 청년 전체가 직업훈련 프로그램에 참여했을 때 평균적으로 어떤 효과가 발생할지를 의미합니다.

앞선 1:1 매칭 사례는 참여자를 기준으로 비참여자를 연결했기 때문에 ATT 추정을 목표로 설계한 분석입니다. 그러나 참여자 400명 중 50명이 매칭되지 않아 제외되었다면, 결과는 원래 참여자 전체 400명의 ATT와 동일하다고 보장할 수 없습니다.

이 경우 실제 추정 대상은 공통지지영역 내에서 매칭된 참여자 집단으로 제한될 수 있습니다. 따라서 매칭 이후 제외된 관측값과 최종 분석 대상의 특성을 함께 보고해야 합니다.

예를 들어 매칭된 표본에서 취업률 차이가 12%p로 나타났고, 적절한 매칭 추론 방법을 적용한 결과가 다음과 같았다고 가정하겠습니다.

실제 표본에서 계산한 결과는 아닙니다.

신뢰구간에 0이 포함되지 않으므로 통상적인 양측 검정에서 통계적으로 유의한 차이와 일치합니다. 하지만 매칭된 자료의 불확실성을 계산할 때는 주의해야 합니다.

따라서 사용한 매칭 방법과 추정량에 적합한 분산 추정 또는 추론 방법을 선택해야 합니다. 또한 통계적으로 유의한 결과가 나타났더라도 관찰되지 않은 교란요인의 가능성은 남아 있습니다.

관찰되지 않은 교란요인은 제거할 수 없습니다.

그러나 취업 의지나 개인의 인맥처럼 결과에 영향을 주지만 측정하지 못한 특성이 있다면 매칭 이후에도 편향이 남을 수 있습니다.

처치 이전 변수를 사용해야 합니다.

프로그램 참여 이후에 변화한 변수를 매칭에 포함하면 처치효과의 일부를 제거하거나 새로운 편향을 만들 수 있습니다. 따라서 성향점수 추정에 사용할 변수는 인과적 관계와 측정 시점을 고려해 선택해야 합니다.

매칭 후 균형을 반드시 확인해야 합니다.

성향점수모형의 예측 정확도가 높다고 해서 매칭 품질이 좋은 것은 아닙니다. 실제 연구에서는 SMD와 성향점수 분포 등을 이용해 공변량 균형을 확인해야 합니다.

모든 참여자를 매칭할 수 있는 것은 아닙니다.

공통지지영역 밖에 있는 참여자는 적절한 비교 대상을 찾지 못할 수 있습니다. 이들을 제외하면 결과를 일반화할 수 있는 대상이 달라질 수 있습니다.

PSM이 항상 가장 좋은 방법은 아닙니다.

성향점수를 이용한 역확률가중법(IPTW), 공변량 조정 회귀, 이중강건 추정 등 다른 방법을 사용할 수도 있습니다. 어떤 방법이 더 적절한지는 연구 목적과 데이터의 특성, 교란변수의 분포에 따라 달라집니다.

또한 무작위 실험을 수행할 수 있는 상황이라면 관찰자료 매칭보다 무작위 배정이 인과적 식별에 더 유리할 수 있습니다.

앞서 살펴본 직업훈련 프로그램 사례를 이용하면 다음과 같이 작성할 수 있습니다.

실제 연구에서는 성향점수모형의 설정, 칼리퍼 적용 여부, 대체 허용 여부, 공통지지영역 확인 결과, 적절한 표준오차 추정 방법 등을 함께 보고하는 것이 좋습니다. 가능하다면 관찰되지 않은 교란에 대한 민감도 분석도 추가하여 결과의 안정성을 평가할 수 있습니다.

직업훈련 프로그램의 참여자와 비참여자는 나이, 학력, 이전 경력, 실업 기간 등이 다를 수 있습니다. PSM은 이러한 특성을 이용해 프로그램 참여 확률을 추정하고, 성향점수가 비슷한 사람끼리 매칭합니다. 이후 매칭된 집단의 취업률 차이를 계산하여 프로그램 참여와 결과 사이의 관계를 분석할 수 있습니다.

하지만 매칭 이후 공변량 균형이 충분히 개선되었는지 확인해야 하며, 비교 가능한 대상이 부족한 경우에는 분석 대상이 제한될 수 있습니다. 또한 관찰되지 않은 교란요인까지 제거하는 것은 아니므로 PSM만 적용했다고 해서 인과관계가 자동으로 입증되는 것은 아닙니다.