비표본오차

표본조사에서 오차를 줄이려면 표본을 충분히 크게 확보하는 것만으로는 부족합니다. 질문을 잘못 이해하거나, 특정 집단이 조사에서 빠지거나, 응답자가 실제와 다른 답변을 하는 경우에도 결과가 왜곡될 수 있기 때문입니다. 이처럼 표본을 추출하는 과정에서 발생하는 우연한 표본오차와 구별되는 조사 과정의 여러 오류를 비표본오차(non-sampling errors)라고 합니다. 비표본오차는 표본조사뿐 아니라 모집단 전체를 조사하는 전수조사에서도 발생할 수 있습니다. 이 장에서는 01장에서 간단히 본 비표본오차의 종류를 하나씩 살펴보고, 각각을 어떻게 줄이고 관리하는지 알아봅니다.

전국 성인의 만족도를 조사할 때, 표본을 무작위로 선정했더라도 우연히 만족도가 높은 사람들이 많이 뽑힐 수 있습니다. 이는 표본오차와 관련되며, 그림 1의 위 두 줄처럼 표본을 늘리면 흩어짐이 줄어듭니다. 반면 온라인 조사만 진행해 인터넷 이용이 어려운 사람들의 의견이 충분히 포함되지 않았다면 포함오차 또는 선택편향이 발생할 수 있고, 그림 1의 맨 아래 줄처럼 표본이 커도 결과가 한쪽으로 치우친 채 남습니다.

무응답은 조사 대상으로 선정된 사람이 응답하지 않거나, 일부 질문에 답하지 않는 상황을 의미합니다.

예를 들어 1,000명에게 만족도 조사를 요청했는데 600명만 응답했다면 응답률은 60%입니다. 하지만 응답률이 60%라는 사실만으로 결과가 편향되었다고 단정할 수는 없습니다. 응답하지 않은 사람들의 만족도가 응답자와 비슷하다면 편향이 작을 수 있지만, 불만족한 사람들이 특히 응답을 꺼렸다면 전체 만족도가 실제보다 높게 추정될 수 있습니다.

그림 2는 실제 만족 비율이 60%인데 만족한 사람의 70%, 불만족한 사람의 45%만 응답했다고 가정한 예입니다. 응답은 정확히 600명이지만 추정 만족률은 70%로 실제보다 10%p 높습니다.

무응답 보정은 응답하지 않은 사람의 특성을 완벽하게 복원하는 방법이 아닙니다. 관측 가능한 특성을 활용하더라도 응답자와 비응답자의 차이가 충분히 설명되지 않으면 편향이 남을 수 있습니다.

측정오차(Measurement Error)는 조사에서 얻은 응답이나 측정값이 실제로 측정하려는 특성과 차이가 나는 경우를 의미합니다.

그림 3의 첫 문항은 서비스가 훌륭하다는 전제를 포함하고 있어 응답자가 긍정적으로 답하도록 유도할 수 있습니다. 두 번째처럼 질문하면 보다 중립적인 응답을 얻을 수 있습니다. 측정오차는 질문 문구뿐 아니라 응답 척도, 기억의 한계, 조사 환경, 면접자의 영향 등으로도 발생할 수 있습니다.

• 질문을 중립적이고 명확하게 작성합니다.
• 응답 척도의 의미와 범위를 분명히 제시합니다.
• 본조사 전에 예비조사를 실시해 문항을 점검합니다.
• 동일한 개념을 측정하는 문항이 의도한 방식으로 작동하는지 검토합니다.
• 조사 방식과 자료 수집 절차를 일관되게 유지합니다.

특히 만족도, 태도, 심리적 특성처럼 직접 관찰하기 어려운 개념을 조사할 때는 문항의 타당성과 신뢰도를 함께 고려해야 합니다.

포함오차(coverage error)는 표본추출틀이 목표 모집단을 완전히 반영하지 못하거나, 모집단에 속하지 않는 대상을 포함할 때 발생합니다. 전국 성인의 의견을 조사하면서 특정 온라인 패널에 등록된 사람만을 조사 대상으로 사용한다면, 해당 패널에 포함되지 않은 사람들의 의견이 충분히 반영되지 않을 수 있습니다. 포함오차는 02장에서 자세히 다뤘습니다.

선택편향(selection bias)은 조사 대상의 선정이나 참여 과정에서 특정 특성을 가진 사람들이 체계적으로 더 많이 또는 적게 포함되면서 발생하는 편향을 말합니다.

그림 5처럼 자발적으로 참여하는 만족도 조사에 매우 만족하거나 매우 불만족한 사람들이 특히 적극적으로 응답한다면, 전체 고객의 만족도 분포와 조사 결과가 다를 수 있습니다. 두 개념은 관련되어 있지만 완전히 같은 뜻은 아닙니다. 포함오차는 주로 표본추출틀과 목표 모집단의 불일치에 초점을 맞추고, 선택편향은 선정이나 참여 과정에서 발생하는 체계적인 차이까지 폭넓게 다룹니다.

• 조사 목적에 맞게 목표 모집단을 명확히 정의합니다.
• 표본추출틀에서 누락된 집단이나 불필요하게 포함된 대상을 확인합니다.
• 가능하면 확률표본추출을 활용합니다.
• 응답자와 모집단의 특성을 비교하고, 적절한 보정 방법을 검토합니다.

가중치 보정으로 일부 차이를 줄일 수는 있지만, 어떤 집단이 거의 또는 전혀 포함되지 않았다면 가중치만으로 문제를 해결하기 어렵습니다.

자료 처리오차(Processing Error)는 응답을 입력하거나 정리하고 분석에 사용할 자료로 변환하는 과정에서 발생하는 오류입니다. 응답값을 잘못 입력하거나 코딩하는 경우, 역문항을 반대로 처리하지 않는 경우, 결측값을 실제 응답값으로 잘못 해석하는 경우, 단위 변환이나 계산 과정에서 오류가 발생하는 경우, 중복 응답을 제거하지 못하는 경우가 대표적입니다.

그림 6처럼 역문항을 변환하지 않으면 평균이 3.8이어야 할 문항이 2.2로 계산되어, 결론의 방향이 반대로 뒤집힐 수 있습니다.

자동화된 데이터 검증은 반복적인 실수를 줄이는 데 도움이 되지만, 데이터가 분석 목적에 적합한지까지 자동으로 보장하지는 않습니다.

비표본오차는 발생 원인에 따라 대응 방법이 다릅니다. 모든 오류를 하나의 보정 공식으로 해결할 수는 없습니다.

조사 과정에서는 오차를 사후에 보정하는 것보다 처음부터 발생 가능성을 줄이는 것이 중요합니다. 특히 측정오차나 포함오차는 조사 이후에 완전히 복구하기 어려울 수 있습니다.

반드시 그렇지는 않습니다. 설문 문항이 응답자를 긍정적으로 유도한다고 가정해 보겠습니다. 100명을 조사하든 10,000명을 조사하든 동일한 방향의 측정오차가 발생한다면, 표본 수가 늘어도 추정치가 실제 값에서 벗어나는 문제는 남을 수 있습니다.

그림 7처럼 표본오차(파란 선)는 표본을 늘릴수록 줄지만, 편향 4%p는 그대로 남아 전체 오차(빨간 선)는 그 아래로 내려가지 않습니다. 따라서 조사 품질을 평가할 때는 표본 수와 표본오차만 확인해서는 안 됩니다. 표본추출틀, 응답률, 질문 설계, 자료 처리 절차까지 함께 살펴봐야 합니다.

• 비표본오차는 응답, 측정, 표본 선정, 자료 처리 등 조사 과정에서 발생하는 다양한 오류를 포함합니다.
• 무응답오차는 응답하지 않은 사람과 응답자의 차이에서 발생할 수 있습니다.
• 측정오차는 질문 문구, 척도, 기억의 한계 등으로 발생할 수 있습니다.
• 포함오차와 선택편향은 특정 집단이 누락되거나 조사에 체계적으로 더 많이 참여할 때 문제가 됩니다.
• 자료 처리오차는 입력, 코딩, 결측값 처리 과정에서 발생할 수 있습니다.
• 표본 수를 늘리는 것만으로 비표본오차가 해결되지는 않으므로 조사 전 과정의 품질 관리가 필요합니다.

다음은 10 복합표본 자료분석(Complex Survey Data Analysis)입니다. 표본가중치뿐 아니라 층화와 집락 등 실제 표본설계를 분석에 반영하는 방법을 살펴보고, 복합표본조사에서 일반적인 분석 방법을 그대로 사용하면 표준오차와 신뢰구간이 왜 부정확해질 수 있는지 알아보겠습니다.