A/B 테스트: 사용자 배정부터 전환율 검정과 도입 판단까지

·
데이터분석&통계
새 결제 화면에서 구매율이 높게 나왔다는 사실만으로 화면 변경의 효과를 확정할 수는 없다. 사용자 구성이 달랐거나, 로그가 일부 빠졌거나, 작은 표본에서 우연히 큰 차이가 보였을 수 있다.A/B 테스트는 같은 기간의 사용자를 무작위로 나눠 기존 버전 A와 변경 버전 B를 비교하는 실험이다. 핵심은 비교 가능한 배정 → 일관된 관측 → 적절한 분석 단위 → 차이와 불확실성 → 도입 판단이다. 통계 기초의 표본·표준오차·가설 검정이 여기서 하나의 흐름으로 연결된다.1. 현황 분석과 실험은 답하는 질문이 다르다분석답하는 질문해석의 범위기술 통계현재 구매율은 얼마인가?관측된 현상을 요약한다.탐색적 분석(EDA)어떤 사용자·행동에서 구매율이 다른가?패턴과 가설을 찾는다. 연관만으로 원인을 확정하지 않는다.예측이 ..