무작위 실험

어떤 교육 프로그램이 학생들의 성적을 높이는지 알아보려면 어떻게 해야 할까요? 프로그램에 참여한 학생과 참여하지 않은 학생의 성적을 비교할 수 있습니다. 하지만 참여자들이 원래부터 공부를 더 잘했거나 학습 의욕이 높았다면, 두 집단의 성적 차이를 프로그램의 효과라고 단정하기 어렵습니다. 무작위 실험(Randomized Controlled Trial, RCT)은 이러한 문제를 해결하기 위한 대표적인 연구 설계입니다. 연구 대상자를 무작위로 처치집단과 통제집단에 배정하여, 두 집단의 결과 차이를 처치의 효과로 해석할 수 있는 근거를 마련합니다.

무작위 실험은 연구자가 처치를 제공할 대상을 무작위로 배정하고, 처치를 받은 집단과 받지 않은 집단의 결과를 비교하는 연구 방법입니다. 새로운 학습 프로그램이 시험 성적에 미치는 영향을 알아본다면 다음과 같이 구성합니다.

무작위 배정은 학생의 기초학력이나 학습 의욕에 따라 집단이 결정되지 않도록 합니다. 적절하게 시행하면 이러한 특성들이 두 집단에 평균적으로 비슷하게 분포할 것으로 기대할 수 있습니다. 핵심은 두 집단을 단순히 나누는 것이 아니라 누가 어느 집단에 들어가는지를 무작위로 결정한다는 것입니다. 연구자가 성적이 낮은 학생을 처치집단에 넣거나, 학생이 원하는 집단을 직접 선택하도록 하면 집단 간 차이가 처치 이전부터 존재할 수 있습니다.

무작위 배정(Random Assignment)은 각 연구 대상자가 처치집단이나 통제집단에 배정될 기회를 무작위로 결정하는 절차입니다. 이 과정이 중요한 이유는 처치 이전의 특성과 처치 배정 사이에 체계적인 관계가 생기는 것을 줄이기 때문입니다. 학습 프로그램에 참여할 학생을 스스로 선택하게 하면 다음과 같은 문제가 생길 수 있습니다.

• 학습 의욕이 높은 학생이 프로그램에 더 많이 참여할 수 있습니다.
• 기초학력이 높은 학생이 새로운 학습 기회를 더 적극적으로 활용할 수 있습니다.
• 성적을 높여야 할 필요가 큰 학생이 프로그램에 더 많이 참여할 수도 있습니다.

이러한 차이가 존재하면 프로그램 참여 여부와 성적이 함께 움직이더라도, 그 원인이 프로그램 때문인지 기존 특성 때문인지 구분하기 어렵습니다. 반면 무작위 배정을 적절하게 수행하면 처치집단과 통제집단의 관찰된 특성뿐 아니라 측정되지 않은 특성도 평균적으로 균형을 이룰 것으로 기대할 수 있습니다.

다만 무작위 배정이 모든 특성을 실제 표본에서 정확히 같게 만드는 것은 아닙니다. 그림 2처럼 학생 20명을 무작위로 나누면 두 집단의 기초학력 평균이 우연히 ±8.9점까지 차이 날 수 있지만, 200명이면 ±2.8점, 2,000명이면 ±0.9점 이내로 줄어듭니다. 그래서 RCT 보고서에서는 처치 전 특성의 균형표를 함께 제시합니다.

가상의 연구에서 학생 200명을 무작위로 두 집단에 배정했다고 가정해 봅시다.

무작위 배정이 적절하게 이루어지고, 처치와 결과의 정의가 명확하며, 분석에 영향을 주는 주요 문제가 없다면 이 차이를 프로그램의 평균 처치효과에 대한 추정치로 해석할 수 있습니다.

평균 차이가 6점이라는 사실만으로 통계적으로 유의한 효과라고 판단할 수는 없으며, 표준오차, 신뢰구간, 표본 크기 및 결과의 변동성도 함께 검토해야 합니다. 그림 3의 모의 자료처럼 두 집단의 표준편차가 11~12점이라면 차이의 표준오차는 약 1.6점이고, 95% 신뢰구간은 [2.8, 9.2]점입니다. 오른쪽처럼 효과가 없다고 가정하고 집단 표시만 다시 무작위로 섞으면 ±6점 이상의 차이는 거의 나오지 않습니다(무작위화 검정 p < .001).

또한 6점이라는 차이가 모든 학생에게 똑같이 적용되는 효과는 아닙니다. 왼쪽 그림처럼 두 집단의 점수는 크게 겹치며, 어떤 학생은 크게 향상될 수 있고 어떤 학생은 거의 변화가 없을 수도 있습니다.

두 개념은 이름이 비슷하지만 서로 다른 질문에 답합니다.

한 대학에서 자원한 학생 200명을 모집한 뒤 무작위로 두 집단에 배정한다면, 이 연구는 무작위 배정을 활용한 실험이지만 자원한 학생들이 전체 대학생을 대표하지 않을 수 있으므로 결과를 모든 대학생에게 일반화하는 데는 주의가 필요합니다. 즉, 무작위 배정은 인과효과 추정에, 무작위 표집은 모집단으로의 일반화에 주로 관련됩니다(표본조사론 03장 참고). 두 가지가 모두 가능하다면 좋지만, 반드시 함께 이루어지는 것은 아닙니다.

처치집단의 결과만 관찰하면 처치가 없었을 때와 비교할 수 없습니다. 학습 프로그램에 참여한 학생들의 평균 성적이 프로그램 이전 70점에서 이후 80점으로 상승했더라도, 이것이 전부 프로그램 때문이라고 볼 수는 없습니다. 프로그램과 무관하게 다음과 같은 변화가 있었을 수도 있습니다.

• 학생들이 시험에 익숙해졌을 수 있습니다.
• 학기 중 다른 수업이나 학습 경험이 영향을 주었을 수 있습니다.
• 두 시험의 난이도가 달랐을 수 있습니다.

통제집단을 함께 관찰하면 같은 기간에 발생한 일반적인 변화와 프로그램 효과를 구분하는 데 도움이 됩니다. 그림 5처럼 통제집단의 성적도 70점에서 76점으로 상승했다면 처치집단의 10점 상승 전체를 프로그램의 효과로 해석하기는 어렵고, 그 차이인 4점이 프로그램의 효과에 대한 추정치가 됩니다. 무작위 실험에서는 주로 같은 시점에 처치집단과 통제집단의 결과를 비교합니다. 사전 · 사후 측정도 함께 활용할 수 있지만, 그 자체가 반드시 필요한 것은 아닙니다.

모든 무작위 실험이 동일한 방식으로 진행되는 것은 아닙니다. 연구 대상, 처치의 특성, 윤리적 조건에 따라 설계가 달라질 수 있습니다.

군집 무작위 실험에서는 같은 군집에 속한 대상들의 결과가 서로 유사할 수 있으므로, 분석에서 군집 내 상관을 고려해야 합니다. 그림 6처럼 학교 20곳, 600명을 실험해도 학교 안 상관(ICC)이 0.1이면 독립적인 학생 약 154명 분량의 정보밖에 되지 않습니다. 군집 수가 적으면 무작위 배정을 했더라도 추정의 정확성이 떨어질 수 있습니다.

또한 중도 탈락이나 처치 불이행이 발생하면, 실제 배정 기준으로 분석하는 방법(배정 기준 분석, ITT)과 실제 처치 이행 기준으로 분석하는 방법이 서로 다른 질문에 답할 수 있음을 고려해야 합니다.

RCT는 인과효과를 추정하는 강력한 방법이지만, 모든 연구 문제에 적용할 수 있는 것은 아닙니다.

따라서 RCT는 가능한 경우 우선적으로 고려할 수 있는 설계이지만, 연구 질문과 현실적 제약에 따라 다른 인과추론 방법이 더 적합할 수도 있습니다.

• RCT는 연구 대상자를 무작위로 처치집단과 통제집단에 배정하는 실험 설계입니다.
• 무작위 배정은 두 집단의 처치 이전 특성이 평균적으로 균형을 이루도록 하는 데 도움이 됩니다.
• 처치집단과 통제집단의 결과 차이는 적절한 조건에서 평균 처치효과를 추정하는 데 활용할 수 있습니다.
• 무작위 표집과 무작위 배정은 목적이 다릅니다.
• 통제집단은 처치가 없었을 때의 결과를 추정하는 데 중요한 비교 기준을 제공합니다.
• RCT에도 윤리, 비용, 중도 탈락, 일반화 가능성 등의 한계가 있습니다.

다음은 05 성향점수매칭(PSM)입니다. 현실에서는 연구자가 처치를 무작위로 배정할 수 없는 경우가 많습니다. 관찰자료에서 처치받을 가능성이 비슷한 대상을 짝지어 비교하는 방법을 살펴봅니다.