Lyft가 sparse한 환경에서 어떻게 라이더의 conversion을 정확하게 예측하는지에 대한 기술 블로그입니다. 기존의 Gradient Boosted Trees(LGBM, XGBoost) 같은 모델은 특정 상황에 대한 데이터가 매우 적을 경우 overfitting 문제가 발생할 수 있습니다. Lyft는 이를 해결하기 위해 Bayesian theory를 활용한 hierarchical lookup structure인 Bayesian Trees를 개발했습니다. 이 모델은 상위 노드의 정보를 사용하여 데이터가 적은 하위 노드의 예측을 보정(Bayesian smoothing)함으로써, 정확도를 높이고 실시간으로 안정적인 예측을 제공합니다.