표본추출틀과 조사설계

표본조사를 시작할 때 가장 먼저 해야 할 일은 누구를 조사할 것인지 명확하게 정하고, 그 대상에게 실제로 접근할 수 있는 방법을 마련하는 것입니다. 조사 대상인 모집단을 정확히 정의하더라도, 실제 표본을 뽑는 데 사용하는 명단이나 자료가 모집단을 제대로 반영하지 못하면 조사 결과가 왜곡될 수 있습니다. 이 장에서는 모집단과 표본추출틀의 차이, 표본추출틀에서 생기는 문제, 그리고 이것이 조사설계 전체에 어떤 영향을 주는지 알아봅니다.

모집단(Population)은 조사에서 알고자 하는 대상 전체를 의미합니다. 표본추출틀(Sampling Frame)은 그 모집단에서 실제로 표본을 추출하기 위해 사용하는 명단이나 자료입니다.

예를 들어 국내 대학생의 만족도를 조사한다고 가정해 보겠습니다.

• 모집단: 조사 시점에 국내 대학에 재학 중인 모든 대학생
• 표본추출틀: 조사 대상 대학들이 보유한 재학생 명단
• 표본: 재학생 명단에서 실제로 추출한 1,000명
• 응답자: 추출된 학생 중 실제로 설문에 응답한 사람

그림 1처럼 이 네 가지는 서로 관련되어 있지만 같은 개념은 아닙니다.

표본추출틀이 모집단과 일치하지 않으면 문제가 생길 수 있습니다. 일부 대학의 명단만 사용했다면 해당 대학 학생들만 포함되고, 휴학이나 학적 변경 정보가 반영되지 않았다면 조사 대상이 잘못 분류될 수도 있습니다.

표본추출틀이 모집단을 완벽하게 반영하지 못하는 상황은 여러 가지가 있습니다. 그림 2처럼 크게 두 방향으로 어긋납니다.

과소포함(Undercoverage)

모집단에 속하는 일부 대상이 표본추출틀에 포함되지 않는 경우입니다. 예를 들어 전국 소비자의 온라인 구매 경험을 조사하면서 특정 온라인 쇼핑몰의 회원 명단만 사용하면, 해당 쇼핑몰을 이용하지 않는 소비자는 표본추출틀에서 빠집니다. 이 경우 표본을 아무리 무작위로 추출해도 누락된 소비자의 특성을 반영하기 어렵습니다.

과대포함(Overcoverage)

표본추출틀에 모집단에 속하지 않는 대상이 포함되거나, 이미 포함된 대상이 중복으로 등록된 경우입니다. 예를 들어 재학생 명단에 졸업생이 남아 있거나 한 사람이 여러 번 등록되어 있다면 실제 모집단과 표본추출틀이 일치하지 않습니다.

그림 3처럼 중복된 대상은 추출될 가능성이 커져, 일부 사람이나 집단이 다른 사람보다 더 높은 확률로 조사에 포함될 수 있습니다.

포함오차(Coverage Error)

과소포함과 과대포함 등으로 인해 표본추출틀과 목표 모집단 사이에 차이가 발생하는 것을 말합니다. 01장에서 본 비표본오차의 한 종류입니다.

중요한 점은 누락된 사람이 있다는 사실만으로 반드시 큰 편향이 발생하는 것은 아니라는 것입니다. 누락된 사람과 포함된 사람의 조사 특성이 다를수록 결과가 왜곡될 위험이 커집니다.

그림 4처럼 누락 비율이 같아도 누락된 사람과 포함된 사람의 차이가 클수록 편향이 커집니다. 예를 들어 온라인 조사에서 인터넷을 거의 사용하지 않는 고령층이 많이 누락되었다면, 전체 인구의 디지털 서비스 이용률을 실제보다 높게 추정할 수 있습니다.

조사 방식에 따라 사용할 수 있는 표본추출틀과 접근 방법이 달라집니다.

온라인 설문 링크를 SNS에 공개하고 자발적으로 참여하도록 하는 방식은 편리하지만, 일반적으로 전체 모집단을 포괄하는 확률표본추출틀이 없습니다. 따라서 응답자 수가 많더라도 모집단을 대표한다고 단정할 수 없습니다.

그림 5에서 SNS 자발 참여 10,000명의 결과는 매번 62% 근처에 모여 실제 50%를 벗어나고, 확률표본 500명은 흩어지더라도 50% 주변에 나옵니다. 다만 자발적 참여 조사도 탐색적 의견 수집이나 특정 집단의 경험 파악에는 유용할 수 있습니다. 조사 목적에 맞춰 결과를 해석하는 것이 중요합니다.

조사설계(Survey Design)는 표본을 어떤 방식으로 추출하고, 자료를 어떻게 수집하며, 결과를 어떻게 추정할지 결정하는 과정입니다. 일반적으로 그림 6의 순서로 진행합니다.

앞 단계의 결정은 뒤 단계에 영향을 줍니다. 모집단을 잘못 정의하면 적절한 표본추출틀을 마련하기 어렵고, 표본추출틀에 문제가 있으면 추출 방법을 정교하게 설계하더라도 대표성에 한계가 생길 수 있습니다.

조사설계에서 중요한 결정 중 하나는 표본을 어떤 원칙으로 선정할 것인지입니다. 확률표본추출(Probability Sampling)은 모집단의 각 대상이 표본에 포함될 확률을 알 수 있도록 설계하는 방식입니다. 반면 비확률표본추출(Non-probability Sampling)은 각 대상의 포함확률을 알 수 없는 방식입니다.

국내 대학생의 온라인 학습 만족도를 조사한다고 가정해 보겠습니다. 조사 대상은 국내 대학 재학생 전체이지만, 연구자가 접근할 수 있는 자료는 특정 대학 3곳의 재학생 명단뿐입니다. 이 명단에서 1,000명을 무작위로 추출하고 800명이 응답했습니다.

그림 7처럼 무작위 추출 자체는 적절하게 수행되었더라도 다음과 같은 한계가 있습니다.

이 경우 조사 결과를 3개 대학 재학생에 대한 결과로 한정하거나, 다른 대학까지 포함하는 표본추출틀을 확보하는 방안을 검토할 수 있습니다. 핵심은 표본을 얼마나 많이 뽑았는지만 보는 것이 아니라, 누구를 대상으로 어떤 자료에서 표본을 추출했는지 함께 확인하는 것입니다.

• 모집단은 알고자 하는 대상 전체이고, 표본추출틀은 그 대상에서 표본을 뽑기 위해 사용하는 자료입니다.
• 표본추출틀의 누락이나 중복은 포함오차를 발생시킬 수 있습니다.
• 표본추출틀이 모집단을 제대로 반영하지 못하면 무작위 추출만으로 대표성을 확보하기 어렵습니다.
• 확률표본추출은 포함확률을 바탕으로 추론할 수 있게 하지만, 실제 조사에서는 무응답과 측정오차도 고려해야 합니다.
• 조사 결과를 해석할 때는 표본의 크기뿐 아니라 모집단 정의, 표본추출틀, 추출 방법을 함께 살펴봐야 합니다.

다음은 03 단순무작위추출(Simple Random Sampling)입니다. 모집단의 각 대상이 공정한 확률 원칙에 따라 표본에 포함되도록 추출하는 방법을 살펴봅니다. 복원추출과 비복원추출의 차이, 표본평균과 모집단 총계의 추정, 표준오차와 신뢰구간을 알아보겠습니다.