가설검정

어느 대학의 학생 평균 수면시간이 7시간이라고 알려져 있다고 가정해 보겠습니다. 새로 조사한 학생 100명의 평균 수면시간은 6.6시간이었습니다. 이 차이만 보고 전체 학생의 수면시간이 7시간보다 짧다고 말할 수 있을까요?

표본평균은 조사할 때마다 달라집니다. 일부 학생만 조사했기 때문에 실제로 모집단 평균이 7시간이어도 표본평균은 6.6시간처럼 나올 수 있습니다. 가설검정(Hypothesis Testing)은 이러한 표본의 변동을 고려해, 관측된 결과가 특정 가설과 얼마나 잘 들어맞는지 판단하는 방법입니다.

이 글에서는 수면시간 사례를 이용해 귀무가설과 대립가설, 유의수준, 검정통계량, p값의 의미를 차례로 살펴봅니다. 계산 결과를 해석할 때 조심해야 할 점도 함께 설명합니다.

가설검정은 모집단의 평균이나 비율 등에 대해 먼저 가설을 세우고, 표본에서 얻은 자료가 그 가설과 어느 정도 어긋나는지 평가합니다. 표본에 차이가 보인다는 사실만으로 모집단에도 반드시 차이가 있다고 결론 내리지는 않습니다.

예를 들어 학생들의 평균 수면시간이 정확히 7시간이라는 주장을 검토할 때는, 그 주장이 맞다고 가정하면 100명의 표본평균이 어느 정도로 흔들릴 수 있는지를 알아야 합니다. 표본평균 6.6시간이 매우 드문 결과라면 7시간이라는 가설에 의문을 제기할 근거가 됩니다.

귀무가설(H₀)은 검정의 기준으로 삼는 주장입니다. 흔히 차이가 없거나 효과가 없다는 형태로 세우지만, 반드시 그런 형태만 가능한 것은 아닙니다. 대립가설(H₁ 또는 Hₐ)은 귀무가설과 대비되는 주장입니다.

대립가설이 ‘다르다’인지 ‘더 짧다’인지에 따라 양측검정 또는 단측검정을 사용합니다. 이 방향은 자료를 확인한 뒤 유리하게 바꾸지 말고 연구 질문에 따라 미리 정해야 합니다.

유의수준(α)은 귀무가설이 참일 때 이를 잘못 기각할 확률을 허용하는 기준입니다. 연구에서 α = .05를 자주 사용하지만, 모든 연구에 반드시 적합한 기준은 아닙니다. 잘못된 판단의 비용과 연구 목적을 고려해야 합니다.

검정통계량은 표본에서 관측한 차이가 기준값에서 얼마나 떨어져 있는지를 하나의 수치로 요약합니다. 사용하는 검정에 따라 z, t, F, χ² 등의 통계량이 달라집니다.

수면시간 사례에서 표본평균이 6.6시간이고, 귀무가설의 평균이 7시간, 표본 표준편차가 2시간, 표본 크기가 100명이라고 가정해 보겠습니다. 독립적인 무작위 표본과 적절한 검정 조건을 전제로 한 일표본 t검정의 예제입니다.

t = −2.00이라는 값은 표본평균이 귀무가설의 기준값보다 표준오차 두 개만큼 낮다는 뜻입니다. 이 통계량이 얼마나 이례적인지는 해당 검정통계량의 분포와 자유도를 함께 이용해 판단합니다.

p값(p-value)은 귀무가설과 검정의 가정이 참일 때, 실제 관측한 검정통계량만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. p값이 작을수록 관측된 자료가 귀무가설 아래에서 이례적이라는 뜻입니다.

앞의 예제에서는 자유도 99인 t분포에서 t = −2.00을 얻었습니다. 양측검정의 p값은 약 .048입니다. 미리 정한 유의수준이 .05라면 귀무가설을 기각합니다.

표본이 크면 실제 차이가 아주 작더라도 통계적으로 유의한 결과가 나올 수 있습니다. 반대로 표본이 작으면 현실적으로 의미 있는 차이가 관측되어도 불확실성이 커서 유의하지 않을 수 있습니다.

수면시간 예제의 표본평균은 기준보다 0.4시간, 즉 24분 짧습니다. 이 차이가 생활이나 건강 측면에서 어느 정도 중요한지는 p값이 아니라 연구 맥락과 효과크기, 신뢰구간, 측정의 타당성을 함께 검토해야 판단할 수 있습니다.

앞선 가정에 따른 평균 차이의 95% 신뢰구간은 대략 −0.80시간에서 −0.003시간입니다. 차이의 방향을 판단하는 데 도움이 되지만, 가능한 효과의 크기가 상당히 다양하다는 점도 보여 줍니다.

p값이 유의수준보다 크다면 통상 귀무가설을 기각하지 못했다고 표현합니다. 이는 자료에서 귀무가설에 반하는 근거가 충분하지 않았다는 뜻이지, 두 집단이 완전히 같거나 효과가 0임을 증명한 것은 아닙니다.

보고서에는 연구 질문과 사용한 검정, 표본 크기, 기술통계, 검정통계량, 자유도, p값을 포함하는 것이 좋습니다. 가능하다면 효과크기 및 95% 신뢰구간도 함께 제시해야 결과가 실제로 어느 정도의 차이를 뜻하는지 알 수 있습니다.

이는 개념 설명을 위한 가상 자료의 계산 예시입니다. 실제 연구에서는 연구 설계에 맞는 검정 방법을 선택하고, 자료의 가정과 분석 절차를 확인한 뒤 자신이 얻은 결과를 보고해야 합니다.

• 귀무가설과 대립가설: 귀무가설을 기준으로 자료가 그에 반하는 근거를 평가합니다.
• 유의수준: 자료를 보기 전에 α(보통 0.05)를 정해 둡니다.
• p값: 귀무가설이 참일 때 관측 결과만큼 극단적인 결과가 나올 확률이며, 귀무가설이 참일 확률이 아닙니다.
• 유의성과 중요성: 유의하다고 효과가 크거나 인과관계가 확인된 것은 아닙니다.
• 비유의 결과: 유의하지 않다고 차이가 없음을 증명한 것은 아닙니다.

가설검정은 귀무가설을 기준으로 표본 결과의 이례성을 평가합니다. 귀무가설과 대립가설을 구분하고, 유의수준을 미리 정한 다음 자료에 적합한 검정통계량과 p값을 확인하는 순서로 진행합니다. 같은 결과라도 단측·양측 검정, 표본 구성, 검정 가정에 따라 해석이 달라질 수 있습니다.

통계적으로 유의하다는 이유만으로 차이가 크거나 인과관계가 확인되었다고 말할 수는 없습니다. 유의하지 않은 결과 역시 차이가 없음을 증명하지 않습니다. 연구에서 중요한 것은 p값 하나가 아니라 관측한 차이의 크기, 추정의 불확실성, 연구 질문과 자료의 적합성을 함께 설명하는 일입니다.

다음은 11 통계적 오류와 검정력입니다. 검정에서 생길 수 있는 두 가지 오류와 효과를 발견할 확률을 살펴봅니다.