통계적 오류와 검정력

새로운 학습 프로그램이 학생의 시험 성적을 높이는지 확인한다고 생각해 보겠습니다. 실제로 효과가 없는데도 분석 결과가 유의할 수 있고, 반대로 실제 효과가 있는데도 유의한 결과를 얻지 못할 수 있습니다. 어느 한 번의 연구 결과가 언제나 정확한 결론을 보장하는 것은 아닙니다.

통계학에서는 이러한 판단의 위험을 제1종 오류와 제2종 오류로 구분합니다. 또한 실제 효과가 있을 때 이를 통계적으로 발견할 확률을 검정력(Statistical Power)이라고 합니다. 이번 글에서는 학습 프로그램의 성적 향상 사례를 중심으로 오류, 검정력, 효과크기와 표본 크기의 관계를 살펴보겠습니다.

모집단 전체를 조사하지 않고 일부 표본으로 가설을 검정하면, 표본을 어떻게 뽑았는지에 따라 결과가 달라질 수 있습니다. 유의수준을 .05로 정하더라도 검사 결과가 절대로 틀리지 않는다는 뜻은 아닙니다.

예를 들어 같은 학습 프로그램을 여러 학교에서 반복 평가하면 일부 연구에서는 유의한 결과가 나오고, 다른 연구에서는 그렇지 않을 수 있습니다. 이 차이에는 실제 효과의 크기뿐 아니라 학생 수, 개인별 점수 변동, 표본추출 과정 등이 관여합니다.

제1종 오류(Type I Error)는 실제로 효과가 없는데 효과가 있다고 판단하는 경우입니다. 제2종 오류(Type II Error)는 실제로 효과가 있는데도 검정에서 이를 발견하지 못하는 경우입니다. 두 오류 모두 ‘분석 프로그램이 계산을 잘못했다’는 의미가 아니라, 불확실한 자료를 이용해 결론을 내릴 때 발생할 수 있는 판단 오류입니다.

유의하지 않았다는 결과를 곧바로 ‘효과가 없다’고 해석하면 제2종 오류의 가능성을 놓치기 쉽습니다. 정확하게는 ‘귀무가설을 기각할 만큼 충분한 근거를 얻지 못했다’고 표현하는 것이 좋습니다.

미리 정한 유의수준 α는 귀무가설이 참이고 검정의 가정이 충족될 때, 이를 잘못 기각할 확률을 통제하기 위한 기준입니다. α = .05를 사용한다면 그러한 상황에서 장기적으로 잘못 기각할 비율을 약 5%로 제한하는 검정 절차를 쓰는 것입니다.

실제로 효과가 있을 때 이를 발견하지 못할 확률을 β(베타)라고 합니다. 이때 검정력은 1 − β입니다. 검정력이 80%라는 말은 특정 크기의 효과가 실제로 존재하고 계획한 모형과 가정이 맞을 때, 같은 연구를 반복하면 약 80%에서 귀무가설을 기각한다는 뜻입니다.

검정력은 아무 효과나 80% 확률로 찾아낸다는 뜻이 아닙니다. 어느 크기의 효과를 발견하려는지, 어떤 검정을 수행하는지, 표본 크기와 자료의 변동성이 어떠한지에 따라 달라집니다.

새 학습 프로그램에 참여한 학생과 기존 수업을 들은 학생의 평균 점수를 비교한다고 가정하겠습니다. 연구자는 5점 차이를 교육적으로 의미 있는 효과로 보고, 두 집단의 점수 표준편차를 각각 약 15점으로 예상했습니다. 독립표본 양측 t검정, α = .05, 두 집단 동일한 표본 수를 계획합니다.

이 조건에서 표준화 효과크기는 Cohen의 d = 5 / 15 ≈ 0.33입니다. 정규근사를 사용한 간단한 표본 크기 계산에서는 집단당 약 142명 정도가 필요하며, 실제 t검정의 정확한 검정력 계산과 탈락률을 반영하면 계획 인원이 달라질 수 있습니다.

다른 조건이 같다면 표본 수가 늘어날수록 평균 차이 추정의 표준오차가 작아집니다. 따라서 실제 효과가 있을 때 통계적으로 유의한 결과를 얻을 가능성도 대체로 커집니다. 반대로 표본 수가 지나치게 적으면 실제로 의미 있는 차이가 있어도 검정에서 놓칠 수 있습니다.

효과크기는 집단 간 차이나 변수 사이의 관계가 얼마나 큰지를 나타냅니다. 다른 조건이 같을 때 실제 효과가 크면 귀무가설에서 예상하는 결과와 더 뚜렷하게 구별되므로 검정력이 높아집니다. 반대로 작은 효과를 발견하려면 일반적으로 더 많은 표본이 필요합니다.

다만 Cohen의 d가 몇 이상이면 중요하다는 식으로 기계적으로 판단할 필요는 없습니다. 교육, 의료, 사회과학 등 연구 분야마다 중요한 차이의 기준이 다를 수 있습니다. 검정력 분석에 넣는 효과크기는 연구 질문과 선행연구, 실질적인 중요성을 바탕으로 정해야 합니다.

연구 설계 단계에서는 주로 유의수준, 목표 검정력, 발견하려는 효과크기를 먼저 정한 뒤 필요한 표본 수를 계산합니다. 모집단 표준편차나 효과크기의 예상이 불확실하다면 여러 시나리오로 표본 수를 비교하는 것이 좋습니다.

연구를 마친 뒤 관측된 효과크기와 p값만 넣어 계산한 사후 검정력은 추가 정보를 거의 주지 못하는 경우가 많습니다. 결과를 평가할 때는 사후 검정력 수치보다 효과 추정값과 신뢰구간, 연구 설계의 한계를 살펴보는 편이 더 유익합니다.

검정력이 높다는 이유만으로 실제 차이가 존재한다고 결론 내릴 수 없고, 유의하지 않은 결과만으로 효과가 전혀 없다고 말할 수도 없습니다. 표본 편향, 측정 오류, 분석 가정 위반이 있으면 이론적으로 계산한 검정력만으로 연구 결과의 신뢰성을 보장하지 못합니다.

또한 제1종 오류와 제2종 오류는 어느 한 번의 연구에서 실제로 오류가 발생했는지 알려주는 지표가 아니라, 검정 절차의 장기적 성질을 설명하는 개념입니다. 연구에서는 통계적 판단뿐 아니라 설계, 측정의 타당성, 효과의 실질적 의미까지 함께 고려해야 합니다.

• 제1종 오류: 없는 효과를 있다고 판단하는 실수로, 유의수준 α로 통제합니다.
• 제2종 오류: 있는 효과를 놓치는 실수이며 그 확률을 β라 합니다.
• 검정력: 1 − β로, 특정 효과가 있을 때 이를 발견할 확률입니다.
• 검정력을 키우는 요인: 표본 크기, 효과크기, 유의수준, 측정의 정밀도가 영향을 줍니다.
• 사전 계획: 중요한 효과크기를 먼저 정하고 자료 수집 전에 표본 수를 계산합니다.

제1종 오류는 실제로 없는 효과를 있다고 판단하는 경우이고, 제2종 오류는 실제로 존재하는 효과를 발견하지 못하는 경우입니다. 유의수준 α는 제1종 오류의 위험을 관리하고, 검정력 1 − β는 특정 효과가 있을 때 이를 발견할 가능성을 나타냅니다.

연구를 계획할 때는 어느 정도의 효과가 중요한지 먼저 정의하고, 그 효과를 충분한 확률로 발견할 수 있도록 표본 규모를 정하는 것이 좋습니다. 분석 결과를 얻은 뒤에는 유의확률뿐 아니라 효과크기와 신뢰구간을 함께 확인해야 합니다.

다음은 12 통계적 추론의 가정입니다. 정규성·독립성·등분산성처럼 분석 방법이 전제하는 조건을 점검하는 방법을 알아봅니다.