A/B 테스트

B안이 5.3%, A안이 4.1%로 전환했습니다. B를 출시할까요? 아직입니다. A/B 테스트는 통제된 실험이고, 그 상승이 진짜인지는 전적으로 어떻게 돌렸는지에 달렸습니다.

설계하는 법

• 시작 전에 가설 하나와 주요 지표 하나를 서술
• 사용자를 A(대조)와 B(변형)에 무작위 배정
• 필요한 표본 크기를 미리 계산 — 신경 쓰는 효과에 맞춰
• 그 크기에 도달할 때까지 돌린 뒤, 한 번 평가

결과 읽기

맨 상승만으론 부족합니다. 유의성 검정(전환에 대한 카이제곱이나 비율 검정)이 그 격차가 우연이 만들 수준보다 큰지 알려줍니다. 신뢰구간과 함께 보면 진짜 상승의 그럴듯한 범위를 볼 수 있습니다.

승리를 위조하는 함정

• 엿보기: 매일 확인하고 유의해 보이는 순간 멈추면 거짓 양성이 폭증
• 조기 중단: 작은 표본은 크게 요동친다 — 표본 크기를 지키세요
• 지표 남발: 충분히 검정하면 하나는 우연히 '유의'해 보임
• 신기함 효과: 새 디자인은 일시적 상승을 얻고 사라짐

SKARI의 A/B 테스트

SKARI는 설문·분석 도구에서 A/B 비교를 지원합니다: 응답을 변형으로 나누고, 지표를 비교하고, 유의성 검정과 구간을 얻습니다 — 수동 통계 없이.

• 두 변형에 걸친 전환이나 점수 비교
• 차이에 대한 유의성 검정과 신뢰구간
• 출시 여부를 알려주는 쉬운 말 판정

자주 묻는 질문

테스트를 얼마나 돌려야 하나요?

검정력 계산이 요구하는 표본 크기에 도달할 때까지 — 그리고 요일 편향을 피하려 온전한 주간 주기를 거쳐서.

유의해지는 즉시 멈추면 안 되나요?

"엿보기"가 거짓 양성을 크게 부풀리기 때문입니다. 표본 크기를 미리 고정하거나, 이를 위해 설계된 순차/베이지안 방법을 쓰세요.

여러 변화를 한 번에 테스트할 수 있나요?

가능하지만 결과를 단일 변화에 귀속할 수 없습니다. 효과를 분리하려면 A/B/n이나 요인 설계를 쓰세요.

결론

A/B 테스트는 실제로 돌릴 수 있는 실험입니다 — 단, 무작위화·미리 정한 표본 크기·정직한 유의성만이 결과를 신뢰할 만하게 만듭니다.