1) A/B 테스트를 하는 이유 1. 표면적 이유 : 목표를 달성하기 위한 방안으로 A안과 B안 중 어느 게 더 효과가 좋은가? 2. 내재된 이유 : N명의 트래픽/고객에 대해서만 유효한 것이 아니라, 향후 모든 유형의 고객에게 A안과 B안 중 어느 것이 확실하게 좋은가? A와 B의 차이 때문에 생긴 결과가 맞은가? 이 결과는 우연이 아닌가? 2) A/B 테스트를 하면서 겪는 잘못된 생각 1. A/B 테스트의 결과 차이가 상당히 크거나 확실하길 바람 2. 실험 배경이 5:5로 동일하다고 생각함 트래픽을 균등하게 나눠야 함 두 그룹에 노출되는 비율에 차이가 없도록 실험이 공정하게 진행되었나? 3. 어쩌다 나온 이례적인 경우거나 우연이 아니라고 생각 3) A/B 테스트 설계 1. 모집단 중 그 일부인 '표본..