회귀단절설계(RDD)

대학에서 직전 학기 평점이 3.5 이상인 학생에게 장학금을 지급한다고 가정해 보겠습니다. 평점 3.49인 학생은 장학금을 받지 못하지만, 3.50인 학생은 장학금을 받을 수 있습니다. 두 학생의 성적 차이는 매우 작지만 장학금 수혜 여부는 달라집니다.

그렇다면 이처럼 기준점에 가까운 학생들을 비교하면 장학금이 다음 학기 학업 성취도에 미친 영향을 알아볼 수 있을까요? 이러한 질문에 사용하는 대표적인 인과추론 방법이 회귀단절설계(Regression Discontinuity Design, RDD)입니다.

RDD는 특정 점수나 연령, 소득 등의 기준에 따라 정책 적용 여부가 달라지는 상황에서 기준점 주변의 결과를 비교해 정책 효과를 추정합니다. 무작위 실험을 실시하지 않았더라도 기준점 바로 위와 아래의 대상이 충분히 유사하다는 조건이 성립하면 정책의 인과효과를 추정할 수 있습니다.

이번 글에서는 RDD의 기본 원리부터 실제 계산 예제, 회귀모형, 첨예·퍼지 RDD의 차이, 대역폭 선택, 주요 가정과 결과 해석까지 살펴보겠습니다.

예를 들어 대학에서 직전 학기 평점이 3.5 이상인 학생에게 장학금을 지급한다고 가정하겠습니다. 장학금 지급 여부는 다음과 같이 결정됩니다.

RDD에서는 이러한 기준값을 중심으로 결과변수의 변화가 불연속적으로 나타나는지 확인합니다. 여기서 기준값을 결정하는 변수를 할당변수(Running Variable 또는 Assignment Variable)라고 합니다. 장학금 사례에서는 직전 학기 평점이 할당변수이며, 3.5가 기준값입니다.

분석의 핵심은 기준점에서 장학금 수혜 여부가 바뀔 때 다음 학기 성적에도 불연속적인 변화가 나타나는지 확인하는 것입니다. 다만 기준점 위아래에 있는 학생이 다른 특성에서도 연속적으로 유사하다는 등의 조건이 충족되어야 이러한 변화를 장학금의 인과효과로 해석할 수 있습니다.

장학금을 받은 학생들의 평균 성적이 더 높게 나타날 수 있습니다. 하지만 이는 장학금의 효과가 아니라 장학금을 받을 만큼 원래 성적이 높았기 때문일 수 있습니다. RDD는 이러한 문제를 줄이기 위해 기준점 주변의 학생을 비교합니다.

예를 들어 직전 학기 평점이 3.49인 학생과 3.50인 학생은 성적 수준이 매우 비슷합니다. 그럼에도 3.50 이상이라는 기준 때문에 장학금 지급 여부가 달라진다면, 기준점 바로 위와 아래에서 발생하는 결과의 불연속적 차이를 분석할 수 있습니다.

따라서 RDD의 장점은 모든 학생을 무작정 비교하는 것이 아니라 처치 여부가 바뀌는 기준점 주변에서 비교한다는 점입니다.

연구자는 장학금이 학생들의 다음 학기 학업 성취도에 영향을 미쳤는지 알아보려고 합니다.

연구 설계

이 사례에서는 직전 학기 평점이 3.50 이상이면 모든 학생에게 장학금이 지급되고, 3.50 미만이면 누구도 지급받지 않는다고 가정하겠습니다. 또한 장학금 지급 기준 외에 3.50에서 동시에 바뀌는 다른 제도는 없다고 가정합니다. 이러한 구조를 첨예 회귀단절설계(Sharp RDD)라고 합니다.

연구 질문은 다음과 같습니다.

가로축에는 직전 학기 평점을, 세로축에는 다음 학기 평점을 표시합니다. 기준값인 3.50을 중심으로 장학금을 받은 학생과 받지 않은 학생의 결과가 어떻게 달라지는지 확인할 수 있습니다.

기준점 양쪽의 회귀선을 따로 추정했을 때 나타나는 불연속적인 차이를 보여주는 개념도입니다.

그래프에서 기준점 왼쪽의 선은 장학금을 받지 않은 학생들의 예상 성적을 나타냅니다. 오른쪽 선은 장학금을 받은 학생들의 예상 성적을 나타냅니다. 두 선이 기준점에서 서로 다른 높이로 연결된다면 결과변수에 단절이 존재할 가능성이 있습니다.

RDD에서는 이러한 기준점에서의 불연속적인 차이를 처치효과의 핵심 추정값으로 사용합니다.

첨예 RDD의 처치효과는 다음과 같이 표현할 수 있습니다.

여기서 c는 처치 기준값이고, X는 할당변수입니다. 예를 들어 기준점에서 추정한 다음 학기 평점이 다음과 같다고 가정해 보겠습니다.

계산은 다음과 같습니다.

따라서 기준점에서의 장학금 수혜 효과는 평점 0.20점으로 추정됩니다. 이는 직전 학기 평점이 3.50 근처인 학생들에게 장학금 수혜가 다음 학기 평점을 약 0.20점 높이는 효과가 있었다는 의미로 해석할 수 있습니다. 다만 필요한 식별 가정이 충족되었을 때 가능한 인과적 해석입니다.

또한 3.62와 3.42는 개별 학생 두 명의 관측값이 아니라 기준점 양측의 회귀함수를 이용해 추정한 값입니다.

대표적인 국소 선형 회귀(Local Linear Regression) 모형은 다음과 같이 표현할 수 있습니다.

여기서 각 항의 의미는 다음과 같습니다.

이 모형은 기준점 아래와 위에서 서로 다른 기울기를 허용합니다. 중요한 것은 전체 평점 범위에 하나의 직선을 무조건 적용하는 것이 아니라 기준점 주변의 관측값을 중심으로 관계를 추정한다는 점입니다. 실제 RDD 분석에서는 대역폭과 커널 가중치, 편향 보정 및 적절한 신뢰구간 계산 방법 등을 함께 고려합니다.

RDD 추정 결과

실제 학생 데이터를 분석한 결과는 아닙니다.

장학금 효과는 0.20점으로 추정되었습니다. 이는 기준점 3.50 부근의 학생에게서 장학금 수혜가 다음 학기 평점을 평균적으로 약 0.20점 높였다는 결과입니다. 95% 신뢰구간은 0.06점에서 0.34점으로 나타났으며, 0을 포함하지 않았습니다.

따라서 사용한 모형과 가정하에서 통계적으로 유의한 양의 효과가 추정되었다고 해석할 수 있습니다.

이 범위를 대역폭(Bandwidth)이라고 합니다. 예를 들어 기준점이 3.50이라면 다음과 같이 설정할 수 있습니다.

대역폭이 좁으면 기준점에 매우 가까운 학생들을 비교하게 됩니다. 따라서 멀리 떨어진 관측값에서 발생하는 함수 형태의 차이에 덜 영향을 받을 수 있지만, 분석에 사용하는 표본 수가 적어 추정이 불안정해질 수 있습니다.

반대로 대역폭이 넓으면 더 많은 데이터를 사용할 수 있지만 기준점에서 멀리 떨어진 학생들까지 포함되어 함수 형태의 설정에 따른 편향이 커질 수 있습니다. 이처럼 대역폭 선택에는 편향과 분산 사이의 균형이 존재합니다.

실제 분석에서는 데이터 기반의 대역폭 선택 절차를 활용할 수 있으며, 여러 대역폭에서 결과가 얼마나 안정적인지도 확인하는 것이 좋습니다. 다만 통계적으로 유의한 결과가 나오는 대역폭만 선택해서 보고해서는 안 됩니다.

첨예 RDD(Sharp RDD)

기준값이 처치 여부를 완전히 결정하는 경우입니다. 예를 들어 직전 학기 평점이 3.50 이상이면 모든 학생이 장학금을 받고, 3.50 미만이면 아무도 받지 않는 경우입니다.

퍼지 RDD(Fuzzy RDD)

기준값을 넘으면 처치를 받을 확률이 불연속적으로 증가하지만 실제 처치 여부가 완전히 결정되지는 않는 경우입니다. 예를 들어 평점이 3.50 이상이면 장학금 신청 자격이 주어지지만 일부 학생은 신청하지 않을 수 있습니다. 반대로 3.50 미만이더라도 특별전형을 통해 장학금을 받는 학생이 존재할 수 있습니다.

퍼지 RDD에서는 기준값이 처치 여부에 영향을 주는 도구변수처럼 작용합니다. 따라서 기준점에서의 결과변수 변화와 실제 처치 확률의 변화를 함께 이용합니다. 다만 퍼지 RDD의 효과를 인과적으로 해석하려면 단조성, 배제제약 등 추가적인 가정도 필요할 수 있습니다.

잠재적 결과의 연속성

정책이 없었을 경우 기준점 바로 위와 아래의 기대 결과가 연속적으로 이어졌을 것이라는 가정입니다. 즉, 처치가 없다면 평점 3.49와 3.50 부근의 학생 사이에서 다음 학기 성적이 갑자기 달라질 이유가 없어야 합니다.

할당변수의 정밀한 조작이 없어야 합니다.

학생이나 학교가 장학금을 받기 위해 평점을 의도적으로 3.50으로 조정할 수 있다면 기준점 주변 학생의 특성이 달라질 수 있습니다. 예를 들어 3.49였던 학생의 평점을 행정적으로 3.50으로 올려 주는 관행이 존재한다면 RDD의 타당성이 약해질 수 있습니다.

다른 정책이 같은 기준점에서 동시에 바뀌지 않아야 합니다.

평점 3.50 이상 학생에게 장학금뿐 아니라 별도의 지도 프로그램까지 제공한다면 결과의 단절이 장학금 때문인지 지도 프로그램 때문인지 구분하기 어렵습니다.

기준점 주변에서 관련 특성이 연속적이어야 합니다.

나이와 가구소득, 기존 학습능력 등 처치 이전의 특성이 기준점에서 불연속적으로 달라진다면 분석의 타당성을 의심할 수 있습니다. 따라서 RDD에서는 기준점 주변의 데이터와 제도 운영 방식에 대한 충분한 검토가 필요합니다.

예를 들어 기준점 3.50 바로 위에 학생이 비정상적으로 많이 몰려 있다면 평점 조작이나 반올림 규칙 등을 확인해야 합니다. 이를 점검하는 대표적인 방법으로 할당변수의 밀도 불연속 검정이 있습니다. 또한 기준점에서 학생의 가구소득이나 이전 학업 이력에 불연속적인 차이가 있는지도 확인할 수 있습니다.

다만 이러한 진단에서 통계적으로 유의한 차이가 없었다고 해서 모든 식별 가정이 증명되는 것은 아닙니다. 따라서 실제 제도 운영 과정과 데이터 생성 방식을 함께 검토하는 것이 중요합니다.

예를 들어 장학금 지급 여부가 평점 3.50이라는 기준으로 결정된다면 RDD가 유용할 수 있습니다. 반면 특정 지역에 장학금 제도가 새로 도입되고 다른 지역에는 도입되지 않았다면 DID를 고려할 수 있습니다.

장학금 수혜자가 개인 특성에 따라 선정되었으며 명확한 점수 기준이 없다면 PSM을 검토할 수 있습니다. 중요한 것은 어떤 방법이 일반적으로 더 우수한지를 결정하는 것이 아니라, 실제 정책이 어떻게 시행되었는지에 따라 적절한 식별 전략을 선택하는 것입니다.

또한 할당변수의 조작 가능성과 기준점 주변 공변량의 연속성, 대역폭 민감도 분석 결과 등을 제시하면 분석의 타당성을 평가하는 데 도움이 됩니다. 앞서 살펴본 대학 장학금 사례를 이용하면 다음과 같이 작성할 수 있습니다.

실제 연구에서는 선택한 대역폭과 커널 함수, 편향 보정 및 신뢰구간 추정 방법, 기준점 주변의 관측값 수 등을 함께 제시해야 합니다. 첨예 RDD와 퍼지 RDD 중 어떤 설계를 적용했는지도 명확하게 보고해야 합니다.

예를 들어 직전 학기 평점 3.50 이상인 학생에게 장학금을 지급한다면 기준점 바로 위와 아래의 학생을 비교할 수 있습니다. 이때 장학금 수혜 여부가 바뀌는 기준점에서 다음 학기 평점이 불연속적으로 달라진다면, 적절한 식별 가정하에서 해당 차이를 장학금의 국소적 인과효과로 해석할 수 있습니다.

RDD는 무작위 실험을 수행하지 않은 자료에서도 비교적 설득력 있는 인과추론을 가능하게 할 수 있지만, 할당변수의 조작 가능성과 기준점 주변의 연속성, 다른 정책의 동시 적용 여부 등을 확인해야 합니다.

또한 RDD 결과는 기본적으로 기준점 부근에 있는 대상에 대한 효과이므로 전체 모집단에 그대로 일반화해서는 안 됩니다.