t검정

남학생과 여학생의 평균 시험 점수에는 차이가 있을까요? 새로운 교육 프로그램에 참여한 학생들의 성적은 참여 전보다 높아졌을까요? 특정 제품의 평균 만족도가 보통 수준인 3점과 다르게 나타날까요?

이처럼 평균의 차이가 통계적으로 유의한지 확인할 때 사용하는 대표적인 방법이 t검정(t-test)입니다. t검정은 연구 논문이나 설문조사, 실험 연구에서 가장 널리 사용되는 통계적 가설검정 방법 중 하나입니다.

특히 두 집단의 평균을 비교하거나, 동일한 사람을 두 번 측정한 결과를 비교하거나, 표본 평균을 특정 기준값과 비교할 때 사용됩니다. 이번 글에서는 t검정의 기본 개념부터 세 가지 주요 유형, 실제 분석 사례, 결과표를 해석하는 방법, 분석 전에 확인해야 할 가정까지 살펴보겠습니다.

예를 들어 두 가지 학습 방법을 비교하기 위해 학생 100명을 두 집단으로 나누었다고 가정해 보겠습니다. A집단에는 기존 학습 방법을 적용하고, B집단에는 새로운 학습 방법을 적용했습니다. 시험 결과는 다음과 같습니다.

• A집단 평균: 75점
• B집단 평균: 82점

두 집단의 평균은 7점 차이가 납니다. 하지만 평균이 다르다는 사실만으로 새로운 학습 방법이 더 효과적이라고 결론 내릴 수는 없습니다. 학생마다 시험 점수가 다르고, 표본을 어떻게 구성했는지에 따라서도 평균에 차이가 생길 수 있기 때문입니다.

t검정은 이러한 표본 변동을 고려하여 관찰된 평균 차이가 통계적으로 유의한지 판단합니다.

표준오차는 표본을 반복해서 추출했을 때 평균이나 평균 차이의 추정값이 얼마나 달라질 수 있는지를 나타내는 지표입니다. 일반적인 t통계량의 개념은 다음과 같습니다.

실제 계산식은 t검정의 유형에 따라 달라집니다. 예를 들어 두 집단의 평균 차이가 7점이라고 하더라도 학생들의 점수가 매우 다양하게 분포한다면 7점의 차이가 통계적으로 뚜렷하지 않을 수 있습니다. 반대로 점수의 변동이 작다면 같은 7점의 차이도 통계적으로 유의하게 나타날 가능성이 높아집니다.

t검정은 이러한 차이와 변동성을 함께 고려합니다. 분석 결과에서는 일반적으로 다음 지표들을 확인합니다.

세 방법 모두 평균을 비교한다는 공통점이 있지만, 데이터가 어떤 구조로 수집되었는지에 따라 적절한 방법이 달라집니다.

일표본 t검정(One-Sample t-test)

일표본 t검정은 하나의 표본 평균이 특정 기준값과 통계적으로 차이가 있는지 확인하는 방법입니다. 예를 들어 5점 척도로 측정한 서비스 만족도의 평균이 3점과 다른지 알아보고 싶다고 가정해 보겠습니다. 이때 비교 대상은 서로 다른 두 집단이 아니라 하나의 표본 평균과 기준값 3점입니다.

주로 다음과 같은 상황에서 사용됩니다.

• 제품의 평균 무게가 표시된 기준 무게와 다른지 확인
• 학생들의 평균 시험 점수가 기준 점수와 다른지 확인
• 평균 만족도가 사전에 설정한 기준 수준과 다른지 검정

독립표본 t검정(Independent Samples t-test)

독립표본 t검정은 서로 독립적인 두 집단의 평균을 비교하는 방법입니다. 예를 들어 서로 다른 학생들로 구성된 두 집단에 각각 다른 학습 방법을 적용한 후 시험 점수를 비교할 수 있습니다. 이때 A집단에 속한 학생과 B집단에 속한 학생은 서로 다른 사람이어야 하며, 관측값의 독립성을 고려해야 합니다.

독립표본 t검정에는 대표적으로 두 방식이 있습니다.

• Student의 t검정: 두 모집단의 분산이 같다는 가정을 사용
• Welch의 t검정: 두 모집단의 분산이 같지 않아도 사용할 수 있도록 조정

특히 집단 간 분산이 다르거나 표본 수가 차이 나는 상황에서는 Welch의 t검정을 고려할 수 있습니다.

대응표본 t검정(Paired Samples t-test)

대응표본 t검정은 서로 연결된 두 측정값의 차이를 분석하는 방법입니다. 대표적으로 동일한 사람을 대상으로 실험 전후의 값을 비교하는 경우가 있습니다. 예를 들어 학생 30명의 교육 프로그램 참여 전 시험 점수와 참여 후 시험 점수를 측정했다고 가정해 보겠습니다.

이때는 서로 다른 두 집단을 비교하는 것이 아니라, 각 학생의 전후 점수 차이를 계산하여 평균 차이가 0인지 검정합니다. 대응표본 t검정은 같은 사람을 반복 측정한 경우뿐 아니라 연구 설계에 따라 서로 짝지어진 두 관측값을 비교하는 경우에도 사용할 수 있습니다.

A집단에는 기존 학습 방법을 적용하고, B집단에는 새로운 학습 방법을 적용했습니다. 각 집단은 50명으로 구성되었으며, 교육을 마친 뒤 동일한 시험을 실시했습니다. 연구 질문은 다음과 같습니다.

집단별 기술통계

두 집단의 평균을 비교하면 새로운 학습 방법을 적용한 B집단의 평균이 7점 높게 나타났습니다. 하지만 이 차이가 통계적으로 유의한지 확인하려면 t검정 결과를 살펴봐야 합니다.

독립표본 t검정 결과

Welch의 독립표본 t검정을 기준으로 반올림한 결과입니다.

결과는 어떻게 해석할까요?

B집단의 평균 시험 점수는 82점으로 A집단의 75점보다 7점 높았습니다. t검정 결과 p값은 0.003으로, 일반적인 유의수준 0.05보다 작게 나타났습니다. 따라서 두 집단의 모집단 평균이 같다는 귀무가설을 기각할 수 있으며, 두 집단의 평균 점수에는 통계적으로 유의한 차이가 있다고 해석할 수 있습니다.

또한 평균 차이의 95% 신뢰구간은 약 2.43점에서 11.57점으로, 0을 포함하지 않습니다. 효과크기 Cohen's d는 약 0.61로 나타났습니다. 이는 두 집단의 평균 차이가 합동 표준편차의 약 0.61배에 해당한다는 의미입니다.

다만 새로운 학습 방법이 점수 차이의 원인이라고 결론 내리려면 무작위 배정 여부, 집단 간 사전 차이, 학습 환경 등 연구 설계도 함께 검토해야 합니다.

일반적으로 유의수준을 0.05로 설정했다면 p값이 0.05보다 작을 때 통계적으로 유의하다고 판단합니다. 그러나 통계적 유의성과 실제 차이의 중요성은 서로 다른 개념입니다. 예를 들어 고객 10만 명을 대상으로 두 서비스의 평균 만족도를 비교했다고 가정해 보겠습니다.

A서비스의 평균 만족도는 4.20점, B서비스는 4.22점으로 나타났습니다. 표본 수가 매우 많다면 0.02점의 작은 차이도 통계적으로 유의하게 나타날 수 있습니다. 하지만 실제 서비스 운영 관점에서 0.02점의 차이가 중요한지는 별도로 판단해야 합니다.

반대로 표본 수가 매우 적다면 비교적 큰 평균 차이가 나타나더라도 통계적으로 유의하지 않을 수 있습니다. 따라서 t검정에서는 p값만 확인하는 것이 아니라 평균 차이, 신뢰구간, 효과크기 등을 함께 확인해야 합니다.

t검정에서는 Cohen's d가 대표적으로 사용됩니다. 독립표본 t검정에서 Cohen's d는 일반적으로 두 집단의 평균 차이를 합동 표준편차로 나누어 계산합니다. 대표적인 해석 기준은 다음과 같습니다.

이 기준은 Cohen이 제안한 관례적인 기준으로, 모든 연구에 동일하게 적용되는 절대적인 기준은 아닙니다. 예를 들어 의료 연구에서는 작은 차이도 실제로 중요한 의미를 가질 수 있으며, 다른 분야에서는 비교적 큰 차이라도 실질적인 중요성이 낮을 수 있습니다.

또한 대응표본 t검정에서는 차이 점수의 표준편차를 사용하는 등 효과크기의 계산 방식이 달라질 수 있으므로 어떤 지표를 사용했는지 확인해야 합니다.

가장 대표적인 차이는 비교하려는 집단의 수와 분석 설계입니다.

예를 들어 두 집단의 평균을 비교한다면 독립표본 t검정을 사용할 수 있습니다. 반면 세 가지 학습 방법을 적용한 세 집단의 평균을 비교하려면 일원분산분석(One-Way ANOVA)을 고려할 수 있습니다.

두 독립집단만 비교하는 일반적인 등분산 t검정에서는 t통계량을 제곱한 값이 동일한 설계의 일원분산분석 F통계량과 일치합니다. 다만 t검정과 분산분석의 차이를 단순히 집단 수만으로 구분해서는 안 됩니다. 분산분석은 반복측정이나 여러 독립변수의 효과를 함께 분석하는 등 더 복잡한 연구 설계에도 사용됩니다.

대표적인 사항은 다음과 같습니다.

관측값의 독립성

독립표본 t검정에서는 서로 다른 관측값들이 독립적이어야 합니다. 예를 들어 동일한 학생의 전후 시험 점수를 서로 독립적인 두 집단으로 취급하면 관측값의 연결 관계를 무시하는 문제가 발생합니다. 이 경우에는 대응표본 t검정을 사용하는 것이 적절합니다.

정규성 가정

t검정은 정규분포와 관련된 가정을 사용합니다. 일표본 t검정은 모집단 분포, 대응표본 t검정은 짝별 차이의 분포에 대한 정규성 가정을 고려합니다. 독립표본 t검정에서는 각 집단의 모집단 분포가 중요한 가정 중 하나입니다.

다만 표본 수가 충분하고 극단적인 이상치가 없다면 정규성에서 어느 정도 벗어나더라도 t검정이 비교적 안정적으로 작동할 수 있습니다.

등분산성

일반적인 Student의 독립표본 t검정은 두 모집단의 분산이 같다는 가정을 사용합니다. 분산이 서로 다른 경우에는 Welch의 t검정을 고려할 수 있습니다. Welch의 t검정은 등분산성을 요구하지 않으므로 실무에서 독립표본 평균 비교의 기본 방법으로 사용하기도 합니다.

이상치 확인

극단적으로 크거나 작은 값이 포함되어 있다면 평균과 표준편차가 크게 달라질 수 있습니다. 따라서 분석 전에 박스플롯이나 분포 그래프 등을 활용하여 이상치를 확인하는 것이 좋습니다.

다만 이상치가 있다는 이유만으로 관측값을 임의로 삭제해서는 안 됩니다. 입력 오류인지, 실제로 가능한 값인지, 분석 결과에 얼마나 영향을 주는지를 먼저 검토해야 합니다.

표본 수, 데이터 분포, 이상치의 정도 등을 함께 고려해야 합니다. 하지만 데이터의 왜도가 매우 크거나 극단적인 이상치가 많아 평균 기반 분석이 적절하지 않다면 비모수 검정을 고려할 수 있습니다.

다만 비모수 검정은 t검정과 검정 대상이 완전히 동일하지 않을 수 있습니다. 예를 들어 Mann-Whitney U 검정은 기본적으로 두 집단의 분포나 상대적 위치에 관한 검정이며, 특정 조건에서만 중앙값 차이의 검정으로 해석할 수 있습니다.

따라서 정규성 검정의 p값만 보고 기계적으로 분석 방법을 바꾸기보다 연구 질문과 데이터의 특성을 함께 고려해야 합니다.

앞서 살펴본 학습 방법 비교 사례를 이용하면 다음과 같이 작성할 수 있습니다.

이처럼 결과를 보고하면 독자는 단순히 통계적으로 유의한지뿐 아니라 어느 집단의 평균이 높았는지, 차이가 얼마나 컸는지, 추정의 불확실성이 어느 정도인지 함께 확인할 수 있습니다. 실제 보고서에서는 사용한 t검정 유형과 효과크기 계산 방식도 명확하게 표시하는 것이 좋습니다.

교육 연구

서로 다른 교수법을 적용한 두 집단의 시험 점수를 비교하거나, 교육 프로그램 참여 전후의 학업 성취도 변화를 분석할 수 있습니다.

마케팅 및 경영

A/B 테스트에서 서로 다른 광고나 서비스 화면을 경험한 고객 집단의 평균 구매 금액이나 만족도를 비교할 수 있습니다.

사회과학 연구

서로 다른 집단의 평균 스트레스 수준, 직무 만족도, 삶의 만족도 등을 비교할 수 있습니다.

보건 및 의료 연구

중재 프로그램 참여 전후의 측정값을 비교하거나, 두 독립집단의 평균 건강 지표를 비교할 수 있습니다.

제품 및 품질관리

제품의 평균 무게나 측정값이 설정한 기준과 통계적으로 차이가 있는지 확인할 수 있습니다. 이처럼 t검정은 연구 목적에 따라 기준값과의 비교, 두 독립집단 비교, 대응 측정 비교 등에 활용할 수 있습니다.

대표적으로 일표본 t검정, 독립표본 t검정, 대응표본 t검정이 있으며, 데이터의 수집 방식과 연구 설계에 따라 적절한 방법을 선택해야 합니다. 또한 통계적으로 유의한 결과가 나타났다고 해서 반드시 중요한 차이가 있다는 뜻은 아닙니다.

평균 차이와 p값, 신뢰구간, 효과크기를 함께 살펴보고 연구 목적에 맞게 결과를 해석하는 것이 중요합니다.