질문을 많이 던질수록 우연한 정답도 늘어나므로 전체 오류를 관리합니다.
20개를 검정해 하나가 유의하면 진짜 발견일까?
효과가 전혀 없는 변수 20개를 각각 α=.05로 검정해도 평균적으로 하나쯤은 우연히 유의할 수 있습니다. 유의한 결과만 골라 보면 마치 의미 있는 발견처럼 보입니다.
실제 차이가 없는 검정을 α=.05로 반복하면
각 검정의 오류는 5%여도, 20개 중 하나 이상 거짓 양성이 나올 확률은 약 64%입니다.
다중비교 문제는 개별 검정이 틀려서가 아니라 여러 기회를 한 연구의 결론으로 묶을 때 생깁니다. 보정은 그 결론 묶음 전체의 오류를 관리합니다.
핵심 질문
여러 가설을 동시에 검정할 때 우연한 발견을 어느 수준으로 통제할까요?
집단이 늘면 가능한 평균 비교의 수가 빠르게 증가합니다.
검정을 반복할수록 하나 이상의 거짓 양성이 생길 가능성이 커집니다.
Bonferroni·Tukey·FDR 등 목적에 맞는 기준으로 보정합니다.
검정 수가 오류율을 키우는 원리
검정 기회가 늘수록 하나 이상 거짓 양성이 나올 확률이 커집니다
집단이 늘면 쌍별 비교 수는 더 빠르게 늘어납니다
집단 3개
3회
쌍별 비교
집단 4개
6회
쌍별 비교
집단 5개
10회
쌍별 비교
집단 10개
45회
쌍별 비교
숫자로 읽기
각 검정이 α=.05이면 10개에서 하나 이상 거짓 양성이 나올 확률은 약 40%, 20개에서는 약 64%입니다.
FWER와 FDR은 서로 다른 오류 질문에 답합니다
| 기준 | 통제하는 것 | 적합한 상황 |
|---|---|---|
| FWER | 가족 안에서 하나 이상 거짓 양성이 생길 확률 | 확증 연구·안전성·소수의 핵심 비교 |
| FDR | 발견한 결과 중 거짓 발견이 차지하는 기대 비율 | 유전체·탐색 분석·많은 가설 |
| 개별 오류율 | 각 검정 하나의 1종 오류 | 단일 사전 가설 |
검정 가족을 먼저 정의합니다
같은 연구 질문과 결론을 위해 함께 해석되는 검정들을 한 가족으로 묶습니다. 모든 분석을 무조건 하나로 묶거나 결과를 본 뒤 가족을 쪼개면 안 됩니다.
비교 구조와 통제 목표에 맞춰 선택합니다
| 방법 | 원리 | 특징 |
|---|---|---|
| Bonferroni | 각 기준을 α/m으로 낮춤 | 단순하고 모든 검정에 적용 가능하지만 보수적 |
| Holm | 작은 p값부터 순차적으로 비교 | Bonferroni보다 강력하면서 FWER 통제 |
| Tukey HSD | 모든 평균 쌍의 최대 차이를 고려 | ANOVA 뒤 모든 쌍 비교에 적합 |
| Dunnett | 여러 처리군을 하나의 대조군과 비교 | 불필요한 처리군 간 비교를 하지 않아 효율적 |
| Benjamini–Hochberg | 정렬한 p값으로 FDR 통제 | 많은 탐색 가설에서 발견력을 유지 |
보정이 필요한 범위와 서로 다른 목표
사후비교뿐 아니라 반복한 모든 선택을 생각합니다
| 상황 | 다중성의 원인 |
|---|---|
| ANOVA 뒤 모든 집단 쌍 비교 | 여러 평균 차이 |
| 여러 결과변수 분석 | 결과마다 별도 검정 |
| 여러 하위집단 분석 | 성별·연령·지역별 반복 |
| 여러 시점 확인 | 중간분석과 반복 모니터링 |
| 여러 모형 중 유의한 것 선택 | 분석 경로의 반복 |
보고서에 최종 p값 하나만 남아도 그 값을 얻기 전에 여러 분석을 시도했다면 다중성은 이미 존재합니다. 보정뿐 아니라 사전등록과 투명한 전체 보고가 필요합니다.
전체 검정과 쌍별 비교는 다른 질문입니다
| 단계 | 질문 | 결과 |
|---|---|---|
| 전체 ANOVA | 적어도 한 평균이 다른가? | 하나의 F검정 |
| 사후검정 | 구체적으로 어느 집단이 다른가? | 보정된 여러 쌍별 비교 |
| 효과 해석 | 차이는 얼마나 크고 중요한가? | 평균 차이·신뢰구간·효과크기 |
전체 검정이 항상 필수인 것은 아닙니다
소수의 사전 계획 비교가 연구 질문이라면 전체 ANOVA가 유의하지 않아도 적절한 대비검정을 수행할 수 있습니다. 계획 여부와 오류 통제가 핵심입니다.
거짓 양성을 줄이는 대신 실제 효과를 놓칠 수 있습니다
| 변화 | 1종 오류 | 검정력 |
|---|---|---|
| 더 강한 보정 | 감소 | 감소 |
| 검정 가족 축소·사전 가설 집중 | 통제 유지 | 증가 |
| 표본 크기 증가 | 통제 유지 | 증가 |
| FDR 사용 | FWER보다 거짓 양성 허용 | 탐색 발견 증가 |
해결책은 무조건 가장 엄격한 보정을 쓰는 것이 아니라 연구 목적에 맞는 오류 기준을 정하고 중요하지 않은 검정을 줄이는 것입니다.
Tukey·Bonferroni·FDR 선택 과정
가설 가족 정의부터 보정된 해석까지
| 단계 | 하는 일 |
|---|---|
| 1 | 자료를 보기 전에 주요·보조 가설을 구분합니다. |
| 2 | 함께 결론 내릴 검정 가족을 정의합니다. |
| 3 | FWER 또는 FDR 중 통제 목표를 정합니다. |
| 4 | 모든 쌍·대조군 비교·계획 대비 등 비교 구조를 정합니다. |
| 5 | 구조에 맞는 보정 방법을 선택합니다. |
| 6 | 원 p값과 보정 p값 또는 동시 신뢰구간을 계산합니다. |
| 7 | 유의성뿐 아니라 차이의 크기와 방향을 보고합니다. |
네 수업 방식의 모든 평균 쌍을 비교합니다
ANOVA 결과
강의식 72점, 토론식 76점, 프로젝트식 82점, 혼합식 83점이며 전체 ANOVA는 유의했습니다.
| 비교 | 평균 차이 | 원 p값 | Tukey 보정 p값 | 결론 |
|---|---|---|---|---|
| 강의–토론 | −4 | .041 | .162 | 유의하지 않음 |
| 강의–프로젝트 | −10 | <.001 | <.001 | 유의 |
| 강의–혼합 | −11 | <.001 | <.001 | 유의 |
| 토론–프로젝트 | −6 | .009 | .031 | 유의 |
| 토론–혼합 | −7 | .004 | .016 | 유의 |
| 프로젝트–혼합 | −1 | .620 | .970 | 유의하지 않음 |
결과 해석
Tukey 보정 후 프로젝트식과 혼합식은 강의식·토론식보다 높았지만, 프로젝트식과 혼합식의 차이는 확인되지 않았습니다. 강의식과 토론식의 원 p값은 .041이었으나 전체 쌍 비교를 반영하면 유의하지 않았습니다.
다중비교를 잘못 처리하는 대표적인 경우
오해 1 · ANOVA가 유의하면 모든 쌍이 다르다
적어도 한 평균이 다르다는 뜻이며 구체적인 쌍은 사후검정이 필요합니다.
오해 2 · Bonferroni만 정답이다
비교 구조와 FWER·FDR 목표에 따라 Holm, Tukey, Dunnett 등이 더 적절할 수 있습니다.
오해 3 · 보정하면 p값만 바뀐다
동시 신뢰구간도 넓어지며 결론의 정밀도와 검정력도 달라집니다.
오해 4 · 사전 가설은 보정이 필요 없다
여러 사전 가설을 하나의 결론으로 묶으면 여전히 오류 통제 계획이 필요합니다.
네 수업 방식의 사후비교를 처음부터 끝까지
검정 수가 늘 때 전체 오류율과 Bonferroni 기준을 관찰합니다
검정 수와 개별 α를 바꿔보세요. 보정하지 않은 전체 오류율이 얼마나 빠르게 커지고, Bonferroni 기준은 얼마나 엄격해지는지 확인합니다.
보정하지 않은 FWER
14.3%
Bonferroni 개별 기준
0.0167
다중비교 인터랙티브 랩
효과와 불확실성을 바꾸며 두 분포의 겹침, 검정통계량과 판단 경계가 함께 움직이는지 보세요.
조작할 때 그래프의 위치·모양·오류 구조를 먼저 보세요.
현재 조건
1.0 · 1.1
조절값과 그래프의 변화를 함께 확인하세요.
한 조절값만 먼저 움직인 뒤 그래프의 어떤 부분이 변하고 무엇은 그대로인지 설명해보세요.
관찰할 것
검정 수와 α를 바꿔보기
다중비교에서 기억해야 할 판단 규칙
다중성은 비교 수를 넘어 분석 과정 전체에서 생깁니다
| 주제 | 핵심 내용 |
|---|---|
| 계획 대비 | 연구 질문에 맞는 평균 조합을 사전에 검정해 효율을 높입니다. |
| 게이트키핑 | 주요 가설이 성공한 뒤 다음 가설을 검정하도록 순서를 정합니다. |
| 알파 소비 | 중간분석마다 사용할 α를 배분해 전체 오류를 통제합니다. |
| 폐쇄검정 | 가설의 교집합 구조를 이용해 강한 FWER 통제를 제공합니다. |
| 선택적 추론 | 자료를 보고 선택한 모형·변수 이후의 불확실성을 반영합니다. |
다음 연결
보정 방법이 올바라도 각 검정의 정규성·등분산성·독립성 가정이 맞지 않으면 p값과 신뢰구간 자체가 부정확할 수 있습니다.