표본 크기 결정

설문조사를 준비할 때 자주 나오는 질문이 있습니다. “몇 명을 조사해야 결과를 믿을 수 있을까?” 표본이 너무 적으면 추정 결과가 불안정하거나 집단 간 차이를 발견하기 어려울 수 있습니다. 반대로 표본을 무조건 크게 잡으면 조사 비용과 시간이 늘어납니다. 표본 크기(sample size)는 원하는 정밀도, 분석 목적, 모집단의 특성, 조사 비용을 고려해 결정해야 하며, 전체 비율이나 평균을 추정하려는지, 두 집단의 차이를 검정하려는지에 따라서도 필요한 표본 수가 달라집니다. 이 장에서는 추정 정밀도와 검정력을 기준으로 표본 크기를 정하는 방법과 실제 모집 인원을 정할 때 고려할 점을 알아봅니다.

표본 크기를 결정할 때는 다음 요소를 함께 고려합니다.

그림 1처럼 표본이 커질수록 오차는 줄지만 감소 폭은 점차 작아집니다. 95% 신뢰수준에서 비율을 추정할 때 100명이면 허용오차가 약 ±9.8%p, 400명이면 ±4.9%p, 1,000명이면 ±3.1%p, 5,000명이면 ±1.4%p입니다.

모집단의 비율을 추정할 때 필요한 표본 수는 허용오차와 신뢰수준에 따라 달라집니다. 서비스 만족 비율을 추정한다고 가정해 보겠습니다. 모집단이 충분히 크고 단순무작위추출을 사용하며, 예상 비율을 모르는 경우 p = 0.5를 적용하면 보수적인 표본 크기를 계산할 수 있습니다.

그림 2는 95% 신뢰수준, 예상 비율 50%, 충분히 큰 모집단, 단순무작위추출을 가정한 근사치입니다. 허용오차를 ±5%p에서 ±3%p로 줄이면 필요한 표본이 약 385명에서 1,068명으로 증가합니다. 정밀도를 높이는 데 필요한 비용이 상당히 커질 수 있다는 뜻입니다.

그림 3처럼 신뢰수준을 99%로 높이면 같은 ±3%p를 확보하는 데 약 1,844명이 필요합니다. 여기서 ±5%p는 비율을 추정할 때 사용하는 퍼센트포인트입니다. 만족 비율이 60%로 추정되었다면 이에 대응하는 오차 범위를 단순화해 약 55 ~ 65%로 이해할 수 있습니다. 실제 신뢰구간은 추정 방법과 자료에 따라 달라질 수 있습니다.

평균을 추정할 때는 예상 표준편차와 허용오차를 이용해 표본 크기를 계산할 수 있습니다.

그림 4처럼 고객의 평균 이용 시간을 추정하고, 표준편차가 약 20분이며 허용오차를 ±4분으로 설정했다면 1.96² × 20² / 4² ≈ 96.04이므로 최소 약 97명이 필요합니다. 표준편차를 모르는 경우에는 기존 조사 결과나 예비조사 자료를 활용해 추정할 수 있습니다. 모집단이 작다면 유한모집단 수정도 고려해야 합니다.

표본 크기는 모집단의 평균이나 비율을 추정할 때만 필요한 것이 아닙니다. 새로운 교육 프로그램이 기존 프로그램보다 효과적인지 비교한다면, 실제 효과가 있더라도 표본이 너무 적으면 그 차이를 통계적으로 발견하지 못할 수 있습니다. 이때 고려하는 것이 검정력 분석(power analysis)입니다. 검정력 분석에는 유의수준 α(실제 차이가 없는데도 차이가 있다고 판단할 위험), 검정력 1 − β(실제 차이가 있을 때 이를 발견할 확률), 효과크기(발견하고자 하는 차이의 크기), 표본 크기 n이 사용되며, 일반적으로 유의수준은 0.05, 검정력은 0.80 또는 0.90으로 설정합니다.

검정력 0.80은 실제 효과가 가정한 크기로 존재할 때, 해당 검정 절차가 그 효과를 통계적으로 발견할 확률이 80%라는 의미입니다. 모든 상황에서 80%가 정답인 것은 아니며 연구 목적과 오류의 비용에 따라 달라집니다.

그림 5 · 6처럼 효과크기가 작을수록 차이를 발견하기 어렵기 때문에 더 많은 표본이 필요합니다. 두 집단의 평균을 비교할 때 검정력 0.80을 확보하려면 큰 효과(d = 0.8)는 집단당 26명이면 되지만, 중간 효과(d = 0.5)는 64명, 작은 효과(d = 0.2)는 394명이 필요합니다.

두 방법은 서로 관련 있지만 목적이 다릅니다.

전체 고객의 만족 비율을 추정하는 것이 목적이라면 허용오차를 기준으로 계산할 수 있습니다. 반면 연령대에 따라 만족도가 다른지 검정하려는 목적이라면 기대하는 차이와 검정력을 고려해야 합니다. 한 조사에서 두 목적을 모두 수행할 계획이라면 각 목적에 필요한 표본 크기를 계산한 뒤, 충분한 표본을 확보할 수 있도록 설계를 조정해야 합니다.

계산 결과가 분석에 필요한 유효 응답 수라고 해도, 실제로는 모든 대상자가 응답하지 않을 수 있습니다.

그림 7처럼 유효 응답 400명이 필요하고 예상 응답률이 70%라면 400 / 0.70 ≈ 572명에게 참여를 요청해야 400명 정도의 응답을 확보할 것으로 기대할 수 있습니다. 다만 응답률만 반영하면 충분한 것은 아닙니다. 응답자와 비응답자의 특성이 다르면 무응답 편향이 발생할 수 있으며, 표본추출 방식에 따라 실제 정밀도도 달라집니다. 집락추출이나 다단계추출을 사용한다면 설계효과를 고려해야 하고, 모집단이 작다면 유한모집단 수정도 검토해야 합니다.

그림 8처럼 전체 500명을 조사하더라도 특정 연령대 응답자가 30명뿐이라면, 그 연령대 결과의 오차는 ±17.9%p로 전체(±4.4%p)보다 훨씬 큽니다.

따라서 표본 크기를 결정할 때는 먼저 조사에서 답하려는 질문을 명확히 하고, 그 질문에 맞는 계산 방법을 선택해야 합니다.

• 표본 크기는 정밀도, 신뢰수준, 모집단의 변동성, 검정력, 비용을 함께 고려해 결정합니다.
• 비율이나 평균을 추정할 때는 허용오차를 기준으로 필요한 표본 수를 계산할 수 있습니다.
• 가설검정에서는 유의수준, 검정력, 효과크기를 고려해야 합니다.
• 실제 모집 인원은 예상 응답률과 표본설계의 영향을 반영해 조정해야 합니다.
• 큰 표본이 항상 좋은 조사를 보장하는 것은 아니므로 표본추출과 측정 과정의 품질도 중요합니다.

다음은 08 표본가중치(Sampling Weights)입니다. 표본으로 얻은 결과를 모집단에 맞게 반영하기 위해 설계가중치가 필요한 이유와 무응답 보정이 결과에 어떤 영향을 주는지 알아보겠습니다.