어디서 결정을 내릴지 먼저 정하고, 결과가 얼마나 드문지 계산합니다.
p=.04와 p=.06은 정말 완전히 다른 결과일까?
두 연구에서 같은 질문을 분석했더니 p값이 각각 .04와 .06이 나왔습니다. 흔히 첫 연구는 ‘효과 있음’, 두 번째는 ‘효과 없음’으로 나뉩니다. 하지만 두 숫자는 매우 가깝고 근거의 차이도 작습니다.
| 연구 | p값 | α=.05의 기계적 결정 | 실제 읽기 |
|---|---|---|---|
| A | .040 | 유의 | H₀ 아래에서 비교적 드문 결과 |
| B | .060 | 유의하지 않음 | A보다 조금 덜 드물 뿐 근거가 급변하지 않음 |
유의수준은 결정을 위한 사전 기준이고 p값은 관측 결과가 영가설과 얼마나 맞지 않는지를 보여주는 연속적인 수치입니다. 둘의 역할을 구분해야 합니다.
핵심 질문
p값은 정확히 어떤 확률이며, .05보다 작다는 사실만으로 무엇을 말할 수 있을까요?
자료를 보기 전에 허용할 1종 오류의 기준선을 정합니다.
영가설 아래 현재보다 극단적인 결과가 나올 확률을 계산합니다.
p값이 기준보다 작다는 사실과 실제 중요성은 구분합니다.
α와 p가 맡는 서로 다른 역할
영가설을 기각하기 위해 요구하는 기준입니다
유의수준은 영가설이 참일 때도 이를 잘못 기각할 장기 위험의 상한입니다. 자료를 보기 전에 정하며, 흔히 .05를 사용하지만 연구의 위험과 분야에 따라 더 엄격하거나 완화된 기준을 선택할 수 있습니다.
α=.10
넓은 기각영역
효과를 쉽게 발견하지만 거짓 양성 위험이 큼
α=.05
흔한 기본값
장기 1종 오류를 5%로 제한
α=.01
좁은 기각영역
더 강한 근거를 요구하지만 효과를 놓치기 쉬움
.05는 자연법칙이 아닙니다
.05는 역사적으로 널리 쓰인 관례입니다. 의약품 안전처럼 거짓 양성의 비용이 크면 .01을, 초기 탐색처럼 놓치는 비용도 크면 다른 기준을 정할 수 있습니다.
영가설 아래에서 현재 이상으로 극단적인 결과가 나올 확률입니다
영가설이 예측하는 결과의 분포
p값은 관측값만큼 또는 그보다 더 극단적인 꼬리 영역의 확률입니다.
p=.03은 영가설이 맞다고 가정했을 때, 현재 관측한 검정통계량만큼 또는 그보다 더 극단적인 결과가 반복 표본에서 약 3% 나타난다는 뜻입니다.
α는 사전 기준, p는 자료에서 계산한 결과입니다
| 항목 | 유의수준 α | p값 |
|---|---|---|
| 언제 정하는가 | 자료를 보기 전 | 자료를 분석한 뒤 |
| 무엇인가 | 결정 기준 | H₀ 아래의 꼬리확률 |
| 무엇을 통제하는가 | 장기 1종 오류율 | 통제 기준이 아니라 증거의 수치 |
| 결정 | p<α이면 H₀ 기각 | α와 비교해 사용 |
같은 p값, 다른 결정
p=.03이면 α=.05에서는 기각하지만 α=.01에서는 기각하지 못합니다. 자료가 바뀐 것이 아니라 연구가 미리 요구한 증거의 기준이 다릅니다.
.05라는 기준의 의미와 한계
효과뿐 아니라 표본 크기와 산포에도 영향을 받습니다
| 변화 | 검정통계량과 p값에 미치는 영향 |
|---|---|
| 관측 효과가 커짐 | 통계량이 커지고 p값이 작아지는 경향 |
| 표본 크기가 커짐 | 표준오차가 줄어 같은 효과에서도 p값이 작아짐 |
| 자료의 산포가 커짐 | 표준오차가 커져 p값이 커지는 경향 |
| 측정이 정밀해짐 | 잡음이 줄어 효과를 더 선명하게 탐지 |
따라서 p값은 효과크기가 아닙니다. 수백만 명의 자료에서는 실질적으로 사소한 차이도 매우 작은 p값을 가질 수 있습니다.
어느 꼬리를 극단적인 결과로 셀지에 따라 달라집니다
| 검정 | 극단 영역 | 주의 |
|---|---|---|
| 양측검정 | 관측값과 반대 방향을 포함한 양쪽 꼬리 | 방향과 무관하게 차이를 탐지 |
| 우측 단측검정 | 큰 양의 결과가 있는 오른쪽 꼬리 | 증가만 사전에 관심일 때 |
| 좌측 단측검정 | 큰 음의 결과가 있는 왼쪽 꼬리 | 감소만 사전에 관심일 때 |
단측검정은 p값을 줄이는 기술이 아닙니다
방향은 결과를 보기 전에 정해야 합니다. 반대 방향의 중요한 효과를 무시할 수 있다면 양측검정이 더 적절합니다.
자주 붙는 잘못된 확률 해석을 제거합니다
| 잘못된 해석 | 왜 틀렸는가 |
|---|---|
| H₀가 참일 확률이 3%다 | p값은 P(H₀|자료)가 아니라 P(자료|H₀)입니다. |
| 우연 때문에 나온 확률이 3%다 | 우연과 실제 효과의 원인을 확률로 나누지 않습니다. |
| 같은 결과가 재현될 확률이 97%다 | 재현성은 효과·표본·설계·편향에 달려 있습니다. |
| 효과가 클 확률이 97%다 | 효과의 크기는 추정치와 신뢰구간에서 읽습니다. |
꼬리확률에서 통계적 결정까지
α 설정부터 맥락 있는 보고까지
| 단계 | 하는 일 |
|---|---|
| 1 | H₀와 H₁, 단측·양측을 사전에 정합니다. |
| 2 | 거짓 양성과 거짓 음성의 비용을 고려해 α를 정합니다. |
| 3 | 자료 구조에 맞는 검정통계량을 계산합니다. |
| 4 | H₀ 아래의 검정분포에서 꼬리영역을 정합니다. |
| 5 | 현재 이상으로 극단적인 영역의 확률인 p값을 계산합니다. |
| 6 | p와 α를 비교해 통계적 결정을 내립니다. |
| 7 | 효과크기·신뢰구간·가정·연구 맥락을 함께 보고합니다. |
새 수업의 평균 차이를 α=.05에서 판단합니다
자료와 가설
H₀: 평균 차이=0. 관측된 평균 차이는 5점, 차이의 표준오차는 2점이며 양측검정을 사전에 정했습니다.
| 항목 | 결과 | 의미 |
|---|---|---|
| 검정통계량 | t=2.50 | H₀ 중심에서 2.5 SE 떨어짐 |
| p값 | .018 | H₀ 아래에서 현재 이상 결과가 약 1.8% |
| 유의수준 | .05 | 사전에 정한 결정 기준 |
| 결정 | H₀ 기각 | p<α |
| 효과 | 평균 +5점 | 실제 크기는 별도로 평가 |
결과 해석
평균 점수 차이는 5점이었고, 영가설 아래에서 현재 이상으로 극단적인 결과가 나타날 양측 p값은 .018이었습니다. 이는 사전에 정한 α=.05보다 작아 영가설을 기각했습니다. p값은 효과의 크기나 영가설이 참일 확률을 뜻하지 않습니다.
유의수준과 p값을 잘못 읽는 대표적인 경우
오해 1 · p=.03이면 H₀가 참일 확률은 3%다
p값은 영가설을 조건으로 한 자료의 확률이지 가설의 사후확률이 아닙니다.
오해 2 · p<.05면 중요한 효과다
통계적 유의성과 실제 중요성은 다르며 효과크기와 비용을 봐야 합니다.
오해 3 · p=.049와 .051은 정반대다
기계적 결정은 달라져도 증거의 강도는 거의 같습니다.
오해 4 · p가 크면 H₀가 참이다
효과가 작거나 표본이 부족하거나 측정 잡음이 커도 p값은 클 수 있습니다.
평균 차이 결과를 처음부터 끝까지 읽기
검정통계량과 유의수준이 결정을 어떻게 바꾸는지 관찰합니다
검정통계량을 움직이고 α를 바꿔보세요. p값은 자료가 정하지만 최종 기각 기준은 연구자가 사전에 정한 α에 달려 있습니다.
유의수준 α
근사 양측 p값
0.134
H₀ 기각하지 못함
p ≥ α=0.05
유의수준·p값 인터랙티브 랩
효과와 불확실성을 바꾸며 두 분포의 겹침, 검정통계량과 판단 경계가 함께 움직이는지 보세요.
조작할 때 그래프의 위치·모양·오류 구조를 먼저 보세요.
현재 조건
1.0 · 1.1
조절값과 그래프의 변화를 함께 확인하세요.
한 조절값만 먼저 움직인 뒤 그래프의 어떤 부분이 변하고 무엇은 그대로인지 설명해보세요.
관찰할 것
검정통계량과 α를 바꿔보기
유의수준과 p값에서 기억해야 할 판단 규칙
단일 기준을 넘어 증거 전체를 읽습니다
| 주제 | 핵심 내용 |
|---|---|
| 정확한 p값 보고 | p<.05보다 p=.032처럼 가능한 한 실제 값을 보고합니다. |
| 다중검정 | 검정이 많아질수록 거짓 양성이 늘어 보정이 필요합니다. |
| 선택적 보고 | 유의한 분석만 남기면 p값의 의미가 무너집니다. |
| 사전등록 | 가설과 분석 계획을 미리 고정해 연구자 자유도를 줄입니다. |
| 베이즈 요인 | 두 가설 아래에서 자료가 얼마나 잘 예측되는지 직접 비교합니다. |
다음 연결
α를 정하면 영가설을 잘못 기각하는 1종 오류의 위험이 생깁니다. 반대로 기준을 엄격하게 할수록 실제 효과를 놓치는 2종 오류도 커질 수 있습니다.