Lyft의 Foundational Models 팀이 마켓플레이스에서 정책 변화가 가져오는 장기적인 효과를 어떻게 체계적으로 측정하는지에 대한 방법론을 소개합니다. Lyft와 같은 multi-sided marketplace에서는 드라이버 인센티브나 라이더 가격 정책과 같은 결정이 단기적인 수익뿐만 아니라, 사용자 경험을 통해 장기적인 비즈니스 임팩트에 큰 영향을 미칩니다. Lyft는 이를 해결하기 위해 'Surrogacy' 접근 방식을 사용하며, 총 세 단계의 과정을 거칩니다. 1단계에서는 정책 변화가 단기적인 negative user experience에 미치는 영향을 residualized regression으로 추정하고 switch-back experiment를 통해 검증합니다. 2단계에서는 이러한 사용자 경험이 미래의 행동(rides, retention 등)에 미치는 영향을 AIPW를 사용하여 추정하고 user-split experiment로 검증합니다. 마지막 3단계에서는 직접적인 효과와 시장 매개적(market-mediated) 효과를 결합하여, region-split experiment를 통해 전체적인 장기적 효과(LTE)를 검증합니다. 이러한 프레임워크는 데이터에 기반하여 정교한 시나리오 계획을 세우고, 자원을 효율적으로 배분할 수 있도록 도와주는 강력한 도구가 됩니다.