무엇을 계산하나요
두 비율 z-검정입니다. "A와 B의 진짜 전환율이 같다"는 가정(귀무가설) 아래, 관측된 차이 이상이 우연히 나올 확률(p값)을 구합니다. 합동 전환율 p̄ = (전환A+전환B)/(노출A+노출B)로 표준오차 √(p̄(1−p̄)(1/n_A+1/n_B))를 만들고, z = (p_B−p_A)/표준오차, p값은 양측 기준입니다. p < 0.05면 관례상 "통계적으로 유의하다"고 합니다.
유의하다 ≠ 크게 개선됐다
표본이 아주 크면 0.1%p 차이도 유의하게 나옵니다. 유의성은 "우연이 아니다"라는 뜻이지 "의미 있게 크다"는 뜻이 아니므로, 상대 개선율(리프트)과 절대 차이를 함께 보고 비즈니스적으로 의미 있는 크기인지 판단해야 합니다. 반대로 유의하지 않다고 "차이가 없다"가 증명된 것도 아닙니다 — 표본이 부족해서 못 본 것일 수 있습니다.
작은 차이엔 큰 표본
검증에 필요한 표본은 대략 그룹당 16 × p(1−p) ÷ (차이)² (유의수준 5%, 검정력 80% 근사)입니다. 전환율 5% 수준에서 1%p 차이는 그룹당 약 7,600명, 0.5%p 차이는 약 3만 명이 필요합니다. 테스트 전에 "최소한 이만큼은 개선돼야 채택한다"는 차이를 정하고 표본 크기를 역산하는 게 정석입니다.
흔한 함정
- 중간에 자꾸 확인하고 유의해지면 중단: 거짓 양성이 5%를 훌쩍 넘게 됩니다. 기간·표본을 미리 정하세요.
- 여러 지표·여러 변형 동시 비교: 20개를 비교하면 우연만으로 1개쯤은 p < 0.05가 나옵니다.
- 기간 효과: 주중과 주말 사용자 성향이 달라, A와 B를 다른 기간에 돌리면 비교가 오염됩니다. 같은 기간에 무작위 배정하세요.
자주 묻는 질문
p = 0.06이 나왔습니다. 실패인가요?
0.05는 관례적 선일 뿐입니다. p=0.06은 "약한 증거"로, 효과 크기가 사업적으로 크다면 표본을 늘려 재검정할 가치가 있습니다. 다만 유의해질 때까지 반복 재시도하는 건 통계적으로 반칙입니다.
전환 수가 아주 적어도(각 5건 이하) 되나요?
z-검정은 정규 근사라 기대 전환 수가 그룹당 최소 5~10건은 돼야 믿을 만합니다. 그보다 적으면 피셔의 정확검정 같은 방법이 적합하고, 이 계산기 결과는 참고만 하세요.
몇 % 개선이면 성공인가요?
통계가 아니라 비즈니스 판단입니다. 구현·유지 비용을 넘는 개선인지가 기준이고, 통계는 그 개선이 우연이 아닌지만 확인해 줍니다.