인터랙티브·

1·2종 오류·검정력

없는 효과를 있다고 할 수도, 있는 효과를 놓칠 수도 있습니다.

들어가며

질병 검사에서 더 위험한 실수는 무엇일까?

질병이 없는 사람에게 양성 판정을 내리면 불필요한 검사와 불안이 생깁니다. 반대로 질병이 있는 사람에게 음성 판정을 내리면 치료 시기를 놓칠 수 있습니다. 통계적 가설검정에도 똑같이 두 종류의 실수가 있습니다.

화재가 없는데 경보가 울림

거짓 양성 · 1종 오류

경보 🔔 / 화재 없음

불필요한 대피와 비용이 생깁니다.

화재가 있는데 경보가 울리지 않음

거짓 음성 · 2종 오류

경보 없음 / 화재 🔥

실제 위험을 놓칩니다.

효과가 없는데 있다고 판단하는 것이 1종 오류, 효과가 있는데 발견하지 못하는 것이 2종 오류입니다. 어느 오류를 더 엄격히 줄일지는 연구의 실제 비용에 따라 달라집니다.

핵심 질문

잘못된 발견과 놓친 발견 사이에서 연구 설계를 어떻게 조정해야 할까요?

1종 오류

거짓 양성

실제로 효과가 없는데 있다고 판단하는 경우입니다.

2종 오류

거짓 음성

실제로 효과가 있는데 발견하지 못하는 경우입니다.

검정력

1−β

실제 효과를 올바르게 발견할 확률은 표본과 효과크기에 달려 있습니다.

개념

통계적 결정이 틀리는 두 가지 방식

두 종류의 오류

통계적 결정과 실제 상태의 조합에서 생깁니다

실제로 효과 없음

실제로 효과 있음

H₀ 기각

1종 오류 α

없는 효과를 있다고 판단

올바른 발견

검정력 1−β

H₀ 기각하지 못함

올바른 판단

1−α

2종 오류 β

있는 효과를 놓침

오류	기호	조건	뜻
1종 오류	α	H₀가 참인데 기각	실제로 없는 효과를 있다고 판단
2종 오류	β	H₀가 거짓인데 기각하지 못함	실제로 있는 효과를 놓침

오류는 분석 실수가 아닙니다

계산을 정확히 해도 표본의 우연 때문에 생길 수 있는 결정 오류입니다. 통계는 이를 0으로 만들기보다 장기 확률로 관리합니다.

1종 오류 α

없는 효과를 발견했다고 말할 위험입니다

α=.05는 영가설이 참인 연구를 같은 방식으로 매우 많이 반복할 때 약 5%에서 잘못 기각하도록 허용한다는 뜻입니다. 한 연구가 틀릴 확률이 정확히 5%라는 해석과는 다릅니다.

상황	1종 오류의 결과
효과 없는 신약	효과가 있다고 승인할 수 있음
불량이 없는 생산공정	이상이 있다고 생산을 중단할 수 있음
차이 없는 교육법	우수하다고 도입할 수 있음

2종 오류 β와 검정력

실제 효과를 발견할 확률은 1−β입니다

\text{검정력}=1-\beta=P(H_0\text{를 올바르게 기각}\mid H_1)

효과가 실제로 있을 때

검정력 80%는 설계에서 가정한 크기의 효과가 실제로 존재할 때, 같은 연구를 반복하면 약 80%가 통계적으로 유의한 결과를 얻는다는 뜻입니다. 나머지 약 20%는 효과를 놓칩니다.

검정력	장기적 의미
50%	실제 효과가 있어도 동전 던지기 수준으로 자주 놓침
80%	흔히 사용하는 최소 설계 목표
90%	놓치는 비용이 큰 연구에서 더 강한 목표

왜 중요한가

두 오류를 동시에 없앨 수 없는 이유

두 오류의 상충관계

같은 자료에서 기준만 엄격하게 하면 다른 오류가 커집니다

결정 기준 변화	1종 오류	2종 오류	검정력
α를 .05→.01로 낮춤	감소	증가	감소
α를 .05→.10으로 높임	증가	감소	증가

문턱을 높이면 거짓 경보는 줄지만 실제 효과도 더 자주 놓칩니다. 두 오류를 함께 줄이는 가장 직접적인 방법은 더 큰 표본과 정밀한 측정으로 정보량을 늘리는 것입니다.

검정력을 결정하는 네 요소

효과·표본·잡음·기준이 함께 작동합니다

요소	검정력이 높아지는 방향	이유
효과크기	효과가 큼	영가설 분포에서 더 멀리 떨어집니다.
표본 크기	n이 큼	표준오차가 줄어 효과가 선명해집니다.
자료의 산포	잡음이 작음	같은 효과의 신호대잡음비가 커집니다.
유의수준	α가 큼	기각 문턱이 낮아집니다.

효과크기는 연구자가 키울 수 없습니다

연구자는 실제 효과를 정할 수 없지만 표본 크기, 측정 정밀도, 설계 효율을 개선해 검정력을 높일 수 있습니다.

표본 크기 설계

분석 후가 아니라 자료를 모으기 전에 검정력을 계산합니다

입력	정하는 방법
최소 관심 효과	실제로 의사결정을 바꿀 가장 작은 효과
유의수준 α	거짓 양성의 허용 위험
목표 검정력	보통 80% 또는 90%
예상 산포	선행연구·파일럿 자료·보수적 가정
검정 형태	단측·양측, 독립·대응, 집단 수

‘유의하게 만들 최소 표본’을 찾는 것이 아니라, 의미 있는 효과를 충분한 확률로 발견할 표본을 정하는 것이 목적입니다.

작동 원리

효과·표본·잡음이 검정력을 만드는 과정

분석은 어떻게 이루어지는가

오류 비용에서 표본 크기 결정까지

단계	하는 일
1	H₀와 실제로 중요한 대립 효과를 정의합니다.
2	1종 오류와 2종 오류의 실제 비용을 비교합니다.
3	α와 목표 검정력을 정합니다.
4	예상 효과크기와 산포를 근거를 들어 설정합니다.
5	검정 설계에 맞는 검정력 분석으로 필요한 표본을 계산합니다.
6	탈락·결측을 고려해 모집 인원을 조정합니다.
7	분석 후 효과크기와 신뢰구간으로 결과를 해석합니다.

대표 사례

혈압 신약 임상시험의 표본 크기를 설계합니다

설계 목표

기존약보다 평균 5mmHg 이상 더 낮추는 효과를 중요하다고 정했습니다. 표준편차는 10mmHg, 양측 α=.05, 목표 검정력은 80%입니다.

항목	값	역할
최소 관심 차이	5mmHg	발견해야 할 효과
표준편차	10mmHg	예상 잡음
표준화 효과크기	d=0.50	차이÷표준편차
유의수준	.05	1종 오류 기준
목표 검정력	.80	효과 발견 목표
필요 표본	집단당 약 64명	독립 두 집단 근사

설계 해석

실제 효과가 5mmHg이고 가정이 맞다면, 집단당 약 64명을 조사한 연구의 약 80%가 α=.05에서 차이를 발견할 것으로 예상됩니다. 탈락률이 10%라면 집단당 약 72명을 모집해야 합니다.

흔한 오해

오류와 검정력을 잘못 읽는 대표적인 경우

오해 1 · α=.05면 이번 결론이 틀릴 확률은 5%다

α는 H₀가 참인 반복 연구에서의 조건부 장기 오류율입니다.

오해 2 · 검정력 80%면 결과가 참일 확률은 80%다

정해진 효과가 실제로 있을 때 유의하게 발견할 장기 확률입니다.

오해 3 · 유의하지 않으면 검정력을 사후 계산하면 된다

관측 효과로 계산한 사후 검정력은 p값의 변환에 가까워 정보가 거의 없습니다. 신뢰구간을 봅니다.

오해 4 · 표본이 크면 연구가 항상 좋다

큰 표본도 편향, 잘못된 측정, 부적절한 설계를 고치지 못합니다.

예시

임상시험 설계를 처음부터 끝까지 살펴보기

직접 해보기

효과·표본·잡음·α가 검정력을 어떻게 바꾸는지 관찰합니다

네 요소를 하나씩 바꿔보세요. 효과가 작거나 잡음이 큰 연구에서 같은 검정력을 유지하려면 왜 더 큰 표본이 필요한지 확인합니다.

예상 효과크기0.50표본 크기64잡음·표준편차1.0

개념 시뮬레이션의 검정력

93%

효과가 실제로 있을 때 이번 설계가 H₀를 기각할 가능성

1·2종 오류·검정력 인터랙티브 랩

효과와 불확실성을 바꾸며 두 분포의 겹침, 검정통계량과 판단 경계가 함께 움직이는지 보세요.

조작할 때 그래프의 위치·모양·오류 구조를 먼저 보세요.

효과크기1.0표준오차1.1

현재 조건

1.0 · 1.1

조절값과 그래프의 변화를 함께 확인하세요.

확인할 것

한 조절값만 먼저 움직인 뒤 그래프의 어떤 부분이 변하고 무엇은 그대로인지 설명해보세요.

관찰할 것

•
예상 효과가 작아질수록 검정력이 빠르게 낮아지는지 봅니다.
•
표본 크기를 늘리면 검정력이 높아지지만 증가 폭이 점차 줄어드는지 확인합니다.
•
잡음이 커질 때 같은 검정력을 회복하려면 표본이 얼마나 더 필요한지 살펴봅니다.
•
α를 엄격하게 낮추면 1종 오류는 줄지만 검정력도 낮아지는지 확인합니다.

직접 해보기

효과·표본 크기·α를 바꿔보기

핵심 정리

오류와 검정력에서 기억해야 할 판단 규칙

핵심 정리

•
1종 오류는 없는 효과를 있다고 판단하는 거짓 양성이다.
•
2종 오류는 있는 효과를 발견하지 못하는 거짓 음성이다.
•
유의수준 α는 1종 오류를, β는 2종 오류를 나타낸다.
•
검정력은 1−β이며 실제 효과를 올바르게 발견할 확률이다.
•
같은 표본에서 α를 낮추면 1종 오류는 줄지만 검정력도 낮아진다.
•
효과·표본 크기·산포·α가 검정력을 함께 결정한다.

더 깊이 알아보기

실제 설계에서는 단순 계산보다 더 많은 요소를 반영합니다

주제	핵심 내용
최소 검출 효과	주어진 표본에서 목표 검정력으로 발견 가능한 가장 작은 효과입니다.
불균형 배정	집단 크기가 크게 다르면 같은 총 표본에서도 검정력이 낮아질 수 있습니다.
대응 설계	개인차를 제거해 같은 인원으로 더 높은 검정력을 얻을 수 있습니다.
다중검정	α를 보정하면 각 검정의 문턱이 높아져 더 큰 표본이 필요합니다.
순차·중간 분석	자료를 여러 번 확인한다면 전체 오류율을 별도로 통제해야 합니다.

좋은 설계의 목표

단순히 p<.05를 만드는 것이 아니라, 중요한 효과를 충분한 확률로 발견하면서 잘못된 결론의 위험을 허용 가능한 수준으로 관리하는 것입니다.

다음: t-검정