최근 많은 실험 플랫폼들이 Bayesian A/B testing의 유연함을 장점으로 내세우며 도입하고 있습니다. 하지만 Spotify는 왜 여전히 Frequentist 방식을 고수할까요? 이 글은 Bayesian 방식이 가진 오해와 실제 구현 시의 복잡성을 심도 있게 다룹니다. Bayesian 방식이 Peeking(엿보기)이나 Multiple metrics 문제를 자동으로 해결해준다는 주장은 특정 설정 하에서만 유효하며, 특히 Empirical Bayes prior를 정교하게 관리하는 것은 매우 높은 비용과 기술적 난이도를 요구합니다. Spotify는 실험의 목적(잘못된 결정 최소화, 결과의 신뢰성 등)을 고려할 때, 두 가지 통계 프레임워크를 동시에 운영하는 것보다 현재의 체계를 견고하게 유지하는 것이 더 효율적이라고 판단하고 있습니다. 결국 중요한 것은 통계 기법의 종류가 아니라, 비즈니스 가치를 창출할 수 있는 실험 환경을 어떻게 구축하느냐에 있습니다.