통계적 결과의 해석

통계 결과를 해석한다는 것은 p값이 .05보다 작은지만 살피는 것이 아닙니다. 관찰된 차이의 방향과 크기, 추정의 불확실성, 연구에서 사용한 자료와 비교 설계까지 함께 검토해야 합니다.

p값은 귀무가설이 참이고 분석의 가정이 성립한다고 할 때, 관찰한 검정통계량만큼 또는 그보다 더 극단적인 결과가 나올 확률입니다. 흔히 유의수준 .05와 비교하지만, 이 수치가 곧 효과의 중요성을 뜻하지는 않습니다.

예를 들어 p = .03이라는 결과는 귀무가설이 참일 확률이 3%라는 뜻이 아닙니다. 어떤 결과가 유의하더라도 연구 설계와 추정값의 크기를 별도로 검토해야 합니다.

표본이 매우 많으면 작은 차이도 통계적으로 유의하게 나타날 수 있습니다. 반대로 표본 수가 적으면 실제로 의미 있는 차이가 있어도 통계적으로 유의한 결과를 얻지 못할 수 있습니다. 따라서 실질적인 중요성은 분석 단위, 효과의 크기, 비용과 연구 목적을 고려해 판단해야 합니다.

서로 독립된 두 집단에서 각각 100명의 시험 점수를 측정한 가상 사례입니다. 프로그램 A의 평균은 80점, B는 82점이고 두 집단의 표본 표준편차는 모두 10점이라고 가정합니다.

이 자료에서 B의 평균은 2점 높지만, 양측 p값은 약 .159로 .05보다 큽니다. 그렇다고 두 프로그램의 모집단 평균이 같다는 사실이 입증된 것은 아닙니다. 추정의 불확실성도 살펴야 합니다.

이 예제의 평균 차이에 대한 근사 95% 신뢰구간은 약 −0.79점에서 4.79점입니다. 자료와 분석 가정을 고려하면 차이의 방향도 확정하기 어렵다는 뜻입니다.

95% 신뢰수준이란 같은 절차로 표본을 반복 추출해 구간을 만들었을 때 장기적으로 약 95%의 구간이 고정된 모집단 모수를 포함한다는 의미입니다. 이미 계산된 특정 구간에 모수가 있을 확률이 95%라는 뜻으로 해석하는 것은 정확하지 않습니다.

평균 차이 2점은 실제 단위로 표현한 효과크기입니다. 이를 표준편차 10점으로 나누면 표준화 효과크기인 Cohen’s d는 약 0.20이 됩니다. 하지만 0.20이 중요하거나 중요하지 않다는 결론은 이 숫자만으로 정할 수 없습니다.

상관계수, 회귀계수, 오즈비, 위험비 등 분석방법에 따라 효과를 나타내는 지표는 달라집니다. 서로 다른 효과크기를 비교할 때는 지표의 의미와 척도를 확인해야 합니다.

운동을 자주 하는 사람일수록 수면의 질이 높게 나타났다고 가정해 보겠습니다. 그렇다고 운동이 수면 개선의 원인이라고 바로 결론 내릴 수는 없습니다. 수면이 좋아 운동을 더 하는 것일 수도 있고, 근무시간 같은 제3의 요인이 두 변수에 영향을 주었을 수도 있습니다.

인과관계를 판단하려면 시간적 선후관계, 교란요인, 대상 선정 과정과 연구 설계를 살펴야 합니다. 무작위 실험이나 적절한 관찰연구 설계는 인과추론의 근거를 강화하지만, 통계적 상관관계만으로 인과관계가 자동으로 입증되지는 않습니다.

여러 결과를 동시에 검정했다면 우연히 유의한 결과가 나올 가능성도 고려해야 합니다. 분석을 반복해 유의한 결과만 선택적으로 보고하지 않도록 주의합니다.

결과 보고에는 표본의 특성, 분석방법, 추정값과 단위, 효과크기, 신뢰구간, p값, 주요 가정 및 해석의 한계를 함께 담는 것이 좋습니다.

이는 계산과 해석 방법을 보여주기 위한 가상 예시입니다. 실제 연구에서는 자신의 자료로 계산한 정확한 값과 연구 설계를 반영해야 합니다.